-
1 # 職業培訓老劉
-
2 # 一休數字化
大資料人才需要具備的能力一般較高,尤其是綜合技術能力。比如拿大資料工程師來說,其需要具備以下幾方面的技能:
資訊挖掘能力每天都有數以萬計的資料資訊產生,這些資料中不乏有很多無用的資訊,那到底什麼樣的資訊可以被重新利用?這就考驗了資料工程師對於資料靈敏的挖掘能力,挖掘出想要的有用的資訊進行分析,這是對工程師最基本的考量。
資訊處理能力無論是在哪個行業,對事態的處理都是考驗能力最好的辦法,在大資料行業也不例外。在高階分析技術方面,工程師獨具的自主思考能力是無可替代的。大資料在處理時所運用的工具和技術具備很大的優勢,工程師根據企業不同的業務性質做出不同的判斷,造成不同資料分析所達到的不同目的。
計算機編碼能力作為大資料工程師,許多資料都是從人們的點選、瀏覽中生成的文字、語音、影象或者更為複雜的其他資料資訊,所以這就要求了大資料工程師需要分析各種毫無頭緒的資訊。不過大資料分析面向的基本都是商業分析,所以這就需要工程師具備基本的計算機處理能力。
團隊協作能力大資料開發工程師的工作必然會在一個團隊中完成。團隊成員間的完美對接、無障礙交流對順利完成專案起著至關重要的作用。而部門間的相互配合、有效溝通,也對專案的進度起到了關鍵的作用。邏輯思維能力也是身為一名大資料開發工程師的內在能力。良好的邏輯思維可以讓一名大資料開發工程師在工作中時刻保持著思路清晰,頭腦清醒,效率高。
學習路線建議階段一、大資料基礎——java語言基礎方面
Java語言和資料庫等就無須贅述了,這是最基礎的基本功。
階段二、 Linux&Hadoop生態體系
Linux體系、Hadoop離線計算大綱、分散式資料庫Hbase、資料倉庫Hive、資料遷移工具Sqoop、Flume分散式日誌框架。
階段三、 分散式計算框架和Spark&Strom生態體系
(1)分散式計算框架
Python程式語言、Scala程式語言、Spark大資料處理、Spark—Streaming大資料處理、Spark—Mlib機器學習、Spark—GraphX 圖計算。
(2)storm技術架構體系
Storm原理與基礎、訊息佇列kafka、Redis工具、zookeeper詳解。
階段四、 大資料專案實戰
資料獲取、資料處理、資料分析、資料展現、資料應用。
階段五、 大資料分析 —AI(人工智慧)
Data Analyze工作環境準備&資料分析基礎、資料視覺化、Python機器學習。
1、Python機器學習;2、影象識別&神經網路;3、自然語言處理&社交網路處理;4、實戰專案;5、戶外裝置識別分析。
回覆列表
對於大資料人才需要什麼技能。
首先,大資料分析不是靠一個人完成。需要很多步驟和很多專業知識的合作才能完成大資料分析。
其次。資料分析從技術上可大致分為,採集、清洗、建模、測試、分析、視覺化等若干步驟。從理論上還要進行可行性研究、統計分析、演算法研發等等流程。
最後,大資料雖然概念火爆。但是真正從事大資料行業卻需要很多複合型的知識。例如統分的演算法基礎,程式設計開發,資料庫基礎知識、資訊保安知識、所分析行業流程及各種因素權重比分析等等。
建議準備從事大資料行業的人從一個方面入手,精益求精。多跟專案積累經驗。