首頁>Club>
什麼是大資料分析師?
6
回覆列表
  • 1 # 加米穀大資料

    大資料分析師:

    有兩種崗位定位:

    大資料科學家,Data Scientist,DS

    大資料工程師,Data Engineer,DE

    DS的職能是演算法分析,是基於對行業背景的瞭解幫助客戶作出預期計算。

    相對DS,DE就比較雜了,因為DS只負責演算法輸出,而其餘的都是DE來做。

    理論基礎:統計學、機率論和資料庫、資料探勘、JAVA基礎、Linux

    基礎軟體要求:必要- SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark;可選-R、Hadoop、Hbase、ZooKeeper、Pig等

    資料分析簡單分為這幾大塊:

    資料採集、資料清洗、資料分析、資料視覺化

    1、資料採集

    所謂資料採集並不是我們理解的資料爬蟲,尤其是我們在工作中遇到的資料很多都是來自系統內的資料,來自資料庫的資料來自日誌的資料。資料採集常用的手段有:SQL/Python,其中SQL是資料分析的必備技能,Python是加分項。

    2、資料清洗

    採集來的資料一般是不規整的,欄位缺失或者有錯誤,分析的結果會出現各種異常。在資料清洗這一塊就需要用到一些簡單的統計學基礎。

    3、資料分析

    商業資料分析來說,資料分析最重要的是行業知識和邏輯思維能力,行業知識往往是透過在行業中的工作經歷來獲取。邏輯思維能力,需要後天的不斷的鍛鍊。

    4、資料視覺化

    讓結論更加的容易理解,目前國內外的資料視覺化的產品很多,我常用的有Tableau/Excel/Python等。

    相關:

    大資料學習:資料分析師的完整工作流程與知識結構體系

    https://www.toutiao.com/i6584961126356746760/

  • 2 # 蘭州新華小新

    大資料分析師主要負責資料探勘,使用Hive,Hbase等技術,專門為從事行業資料收集、整理、分析和基於資料的專業人士進行行業研究、評估和預測。透過使用Spotifre,Qlikview和Tableau等,新資料視覺化工具能夠實現資料的資料視覺化和資料呈現。

    現在學習大資料的人相對比較少,但是大資料是未來的一個發展趨勢,大資料在市場上的需求量會越來越多。現在正處於大資料的發展初步階段,未來的就業情況會更加廣闊

  • 中秋節和大豐收的關聯?
  • 寶寶得了溼疹要忌口嗎?