-
1 # 程式設計字典
-
2 # 加米穀大資料
學習Hadoop的基本要求:
a、掌握JavaSE
b、會使用maven工具
c、會使用IDE(eclipse、IDEA)
d、會使用Linux系統
相關:大資料入門學習:Hadoop架構原理
https://www.toutiao.com/i6625507816360641027/
-
3 # 千鋒頭號粉絲
在Hadoop的影片教程中,老師講解的通俗易懂,很多複雜的技術點都被化解了,而且影片都很簡短,學起來不會出現學習的疲勞感,學習效率也是很高的。裡面有很多專業內容講的也是很詳細,很值得每一位學生學習,可以分享給大家。
在學習之前,你還需要了解一下Hadoop的一些基本技術知識。
Hadoop作為新一代的架構和技術,因為有利於並行分佈處理“大資料”而備受重視。
Apache Hadoop是一個用java語言實驗的軟體框架。在由大量技術即促成的叢集中執行海量資料的分散式計算,他可以讓應用程式支援上千個節點和PB級別的資料。Hadoop是專案的總稱,主要是由分散式儲存(HDFS)、分散式計算(MapReduce)等組成。
Hadoop的框架核心的設計就是:HDFS和MapReduce。HDFS為海量的資料提供了儲存,則MapReduce為海量的資料提供了計算。HDFS是一個分散式檔案系統,具有低成本、高可靠性性、高吞吐量的特點。MapReduce是一個變成模型和軟體框架。
Hadoop是一個開源的大資料分析軟體,或者說程式設計模式。它是透過分散式的方式處理大資料的,因為開源的原因現在很多的企業或多或少的在運用hadoop的技術來解決一些大資料的問題,在資料倉庫方面hadoop是非常強大的。
優點:
可擴充套件:不論是儲存的可擴充套件還是計算的可擴充套件都是Hadoop的設計根本。
經濟:框架可以執行在任何普通的PC上。
可靠:分散式檔案系統的備份恢復記住以及MapReduce的任務監控保證了分散式處理的可靠性。
高效:分散式檔案系統的高效資料互動實現以及MapReduce結合Local Data處理的模式,為高效處理海量資訊做了基礎準備。
回覆列表
Hadoop是一個開源框架,允許使用簡單的程式設計模型在跨計算機叢集的分散式環境中儲存和處理大資料。它旨在從單個伺服器擴充套件到數千臺機器,每臺機器提供本地計算和儲存。本簡要教程提供了大資料,MapReduce演算法和Hadoop分散式檔案系統的快速介紹。
適合人群
本教程為希望透過Hadoop Framework學習大資料分析基礎知識併成為Hadoop開發人員的專業人員準備。軟體專業人員,分析專業人員和ETL開發人員是本課程的主要受益人。
預備知識
在開始本教程之前,我們假設您已經接觸過Core Java,資料庫概念和任何Linux作業系統。
Hadoop API類庫
更多Hadoop API詳細內容,請參考:Hadoop API類庫http://codingdict.com/article/8105
Hadoop教程內容導航