回覆列表
  • 1 # 縱情嬉戲天地間真身

    大資料就是捕捉處理,海量紛繁的資料,進行算式,分類,應用!

    建立在超級計算機,超級演算法上!

    收集,處理,應用!大三塊!想學,學去吧!

  • 2 # 加米穀大資料

    那我就來簡單說下大資料行業所需的學習技能和學習路徑吧:

    一、大資料相關工作介紹

    大資料方向的工作目前主要分為三個主要方向:

    大資料工程師資料分析師大資料科學家其他(資料探勘等)

    二、大資料工程師的技能要求

    必須掌握的技能11條

    Java高階(虛擬機器、併發)Linux 基本操作Hadoop(HDFS+MapReduce+Yarn )HBase(JavaAPI操作+Phoenix )Hive(Hql基本操作和原理理解)KafkaStorm/JStormScalaPythonSpark (Core+sparksql+Spark streaming )輔助小工具(Sqoop/Flume/Oozie/Hue等)

    高階技能6條

    機器學習演算法以及mahout庫加MLlibR語言Lambda 架構Kappa架構KylinAlluxio

    三、學習路徑

    第一階段:Java設計與程式設計思想

    第二階段: Web前端開發

    第三階段: JavaEE進階

    第四階段: 大資料基礎

    第五階段: HDFS分散式檔案系統

    第六階段:MapReduce分散式計算模型

    第七階段: Yarn分散式資源管理器

    第八階段: Zookeeper分散式協調服務

    第九階段: Hbase分散式資料庫

    第十階段: Hive分散式資料倉庫

    第十一階段: FlumeNG分散式資料採集系統

    第十二階段: Sqoop大資料遷移系統

    第十三階段: Scala大資料黃金語言

    第十四階段: kafka分散式匯流排系統

    第十五階段: SparkCore大資料計算基石

    第十六階段: SparkSQL資料探勘利器

    第十七階段: SparkStreaming流失計算平臺

    第十八階段: SparkMllib機器學習平臺

    第十九階段:SparkGraphx圖計算平臺

    第二十階段: 大資料專案實戰

  • 中秋節和大豐收的關聯?
  • 家居裝修瓷磚市場未來有什麼趨勢?