回覆列表
-
1 # Action啊
-
2 # 斜陽雲飄
因為hadoop非常適合大資料。
因為hadoop支援超大檔案HDFS儲存的檔案可以支援TB和PB級別的資料。
大資料工程師,顧名思義是處理大資料的。大資料最大的特點就是資料量大呀!
大資料至少資料量也在1T以上,甚至1P,絕大部分PC電腦連1024G都沒有,怎麼處理這麼大的檔案?
hadoop可擴充套件性高hadoop可以透過普通機器組成的伺服器群來分發以及處理資料。這些伺服器群總計可達數千個節點。
這意味著什麼?
意味著成本低啊!幾臺普通機器組成的叢集就能媲美超級計算機的效能,這才是一個公司活下來的關鍵。
hadoop可以快速檢查應對硬體故障hadoop能自動地維護資料的多份副本,也可以感知,將資料分發和備份到相應的節點上。
伺服器叢集能自動維護資料,這可靠性,這穩定性,確實很少有其他產品可以替代。
斜陽說有這麼多優點,考慮成本,效能等各種情況下,hadoop確實屬於相對比較好的選擇。
現在企業的資料量越來越大,單從查詢資料來看Hadoop可以很好的提高執行速度。畢竟多執行緒執行從速度看還是有顯而易見的優勢。作為大資料工程師必然隨著企業的大資料需要而運用更加效的工具。