回覆列表
-
1 # Action啊
-
2 # 斜陽雲飄
因為hadoop非常適合大資料。
因為hadoop支援超大檔案HDFS儲存的檔案可以支援TB和PB級別的資料。
大資料工程師，顧名思義是處理大資料的。大資料最大的特點就是資料量大呀！
大資料至少資料量也在1T以上，甚至1P，絕大部分PC電腦連1024G都沒有，怎麼處理這麼大的檔案？
hadoop可擴充套件性高hadoop可以透過普通機器組成的伺服器群來分發以及處理資料。這些伺服器群總計可達數千個節點。
這意味著什麼？
意味著成本低啊！幾臺普通機器組成的叢集就能媲美超級計算機的效能，這才是一個公司活下來的關鍵。
hadoop可以快速檢查應對硬體故障hadoop能自動地維護資料的多份副本，也可以感知，將資料分發和備份到相應的節點上。
伺服器叢集能自動維護資料，這可靠性，這穩定性，確實很少有其他產品可以替代。
斜陽說有這麼多優點，考慮成本，效能等各種情況下，hadoop確實屬於相對比較好的選擇。
現在企業的資料量越來越大，單從查詢資料來看Hadoop可以很好的提高執行速度。畢竟多執行緒執行從速度看還是有顯而易見的優勢。作為大資料工程師必然隨著企業的大資料需要而運用更加效的工具。