樓主 你好,這種大系統對硬體裝置,軟體技術要求都是非常嚴格。每年的618,雙11,對於京東、阿里的技術大咖來說,很緊張狀態。這種活動每秒鐘處理的訂單量都是千萬級的。這種大系統都是由各個子系統之間相互配合完成的。
硬體裝置就不用多說了,採購最好的。重點說一下軟體部分。對於這種大系統。用的技術很多。也是業界都在用的技術,比如大資料實時資料處理、大資料實時計算、幾乎準實時查詢檢索等等。
大資料實時資料處理用的技術主要是Flume+Kafka+Spark Streaming、Flume+Kafka+Storm、Flink等。這些技術每個技術細節就不詳細講述了。它們都是處理海量資料使用的開源框架,對於京東或者阿里很有可能優化了原始碼,開發出適合他們公司需要的場景框架。但是核心技術差異不大。
大資料實時計算技術基本上都是用Kafka、Spark Streaming、Spark SQL、SparkGrapnX等中的一個或者多個去完成。
大資料準實時查詢檢索用的技術就很多,這裡介紹兩種,一種是互動式查詢,建立二級索引(Hbase+Solr),另外一種ElasticSearch全文檢索框架。
大系統用到的技術都差不多,關鍵看架構師怎麼設計架構好業務場景,設計不好就會出現最早的購票系統12306。設計好了就像現在的京東商城、天貓商城處理那麼大資料量還能執行正常。
技術在快速發展,未來各個行業都會有這種千萬級秒處理的大平臺。需要大家不斷的給自己充電學習。大家一起加油!
樓主 你好,這種大系統對硬體裝置,軟體技術要求都是非常嚴格。每年的618,雙11,對於京東、阿里的技術大咖來說,很緊張狀態。這種活動每秒鐘處理的訂單量都是千萬級的。這種大系統都是由各個子系統之間相互配合完成的。
硬體裝置就不用多說了,採購最好的。重點說一下軟體部分。對於這種大系統。用的技術很多。也是業界都在用的技術,比如大資料實時資料處理、大資料實時計算、幾乎準實時查詢檢索等等。
大資料實時資料處理用的技術主要是Flume+Kafka+Spark Streaming、Flume+Kafka+Storm、Flink等。這些技術每個技術細節就不詳細講述了。它們都是處理海量資料使用的開源框架,對於京東或者阿里很有可能優化了原始碼,開發出適合他們公司需要的場景框架。但是核心技術差異不大。
大資料實時計算技術基本上都是用Kafka、Spark Streaming、Spark SQL、SparkGrapnX等中的一個或者多個去完成。
大資料準實時查詢檢索用的技術就很多,這裡介紹兩種,一種是互動式查詢,建立二級索引(Hbase+Solr),另外一種ElasticSearch全文檢索框架。
大系統用到的技術都差不多,關鍵看架構師怎麼設計架構好業務場景,設計不好就會出現最早的購票系統12306。設計好了就像現在的京東商城、天貓商城處理那麼大資料量還能執行正常。
技術在快速發展,未來各個行業都會有這種千萬級秒處理的大平臺。需要大家不斷的給自己充電學習。大家一起加油!