回覆列表
-
1 # 縱情嬉戲天地間真身
-
2 # 加米穀大資料
那我就來簡單說下大資料行業所需的學習技能和學習路徑吧:
一、大資料相關工作介紹
大資料方向的工作目前主要分為三個主要方向:
大資料工程師資料分析師大資料科學家其他(資料探勘等)二、大資料工程師的技能要求
必須掌握的技能11條
Java高階(虛擬機器、併發)Linux 基本操作Hadoop(HDFS+MapReduce+Yarn )HBase(JavaAPI操作+Phoenix )Hive(Hql基本操作和原理理解)KafkaStorm/JStormScalaPythonSpark (Core+sparksql+Spark streaming )輔助小工具(Sqoop/Flume/Oozie/Hue等)高階技能6條
機器學習演算法以及mahout庫加MLlibR語言Lambda 架構Kappa架構KylinAlluxio三、學習路徑
第一階段:Java設計與程式設計思想
第二階段: Web前端開發
第三階段: JavaEE進階
第四階段: 大資料基礎
第五階段: HDFS分散式檔案系統
第六階段:MapReduce分散式計算模型
第七階段: Yarn分散式資源管理器
第八階段: Zookeeper分散式協調服務
第九階段: Hbase分散式資料庫
第十階段: Hive分散式資料倉庫
第十一階段: FlumeNG分散式資料採集系統
第十二階段: Sqoop大資料遷移系統
第十三階段: Scala大資料黃金語言
第十四階段: kafka分散式匯流排系統
第十五階段: SparkCore大資料計算基石
第十六階段: SparkSQL資料探勘利器
第十七階段: SparkStreaming流失計算平臺
第十八階段: SparkMllib機器學習平臺
第十九階段:SparkGraphx圖計算平臺
第二十階段: 大資料專案實戰
大資料就是捕捉處理,海量紛繁的資料,進行算式,分類,應用!
建立在超級計算機,超級演算法上!
收集,處理,應用!大三塊!想學,學去吧!