回覆列表
-
1 # 加米穀大資料
-
2 # 蘭州新華小新
大資料分析師主要負責資料探勘,使用Hive,Hbase等技術,專門為從事行業資料收集、整理、分析和基於資料的專業人士進行行業研究、評估和預測。透過使用Spotifre,Qlikview和Tableau等,新資料視覺化工具能夠實現資料的資料視覺化和資料呈現。
現在學習大資料的人相對比較少,但是大資料是未來的一個發展趨勢,大資料在市場上的需求量會越來越多。現在正處於大資料的發展初步階段,未來的就業情況會更加廣闊
大資料分析師:
有兩種崗位定位:
大資料科學家,Data Scientist,DS
大資料工程師,Data Engineer,DE
DS的職能是演算法分析,是基於對行業背景的瞭解幫助客戶作出預期計算。
相對DS,DE就比較雜了,因為DS只負責演算法輸出,而其餘的都是DE來做。
理論基礎:統計學、機率論和資料庫、資料探勘、JAVA基礎、Linux
基礎軟體要求:必要- SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark;可選-R、Hadoop、Hbase、ZooKeeper、Pig等
資料分析簡單分為這幾大塊:
資料採集、資料清洗、資料分析、資料視覺化
1、資料採集
所謂資料採集並不是我們理解的資料爬蟲,尤其是我們在工作中遇到的資料很多都是來自系統內的資料,來自資料庫的資料來自日誌的資料。資料採集常用的手段有:SQL/Python,其中SQL是資料分析的必備技能,Python是加分項。
2、資料清洗
採集來的資料一般是不規整的,欄位缺失或者有錯誤,分析的結果會出現各種異常。在資料清洗這一塊就需要用到一些簡單的統計學基礎。
3、資料分析
商業資料分析來說,資料分析最重要的是行業知識和邏輯思維能力,行業知識往往是透過在行業中的工作經歷來獲取。邏輯思維能力,需要後天的不斷的鍛鍊。
4、資料視覺化
讓結論更加的容易理解,目前國內外的資料視覺化的產品很多,我常用的有Tableau/Excel/Python等。
相關:
大資料學習:資料分析師的完整工作流程與知識結構體系
https://www.toutiao.com/i6584961126356746760/