回覆列表
  • 1 # IT人劉俊明

    大資料是我的研究方向之一,我目前也在帶大資料團隊做一些落地專案,所以我來回答一下這個問題。

    為了描述這個問題,我介紹一下我們團隊的大資料崗位,然後對崗位任務和所需技能做一個簡單的介紹,以便於大家對大資料研發團隊有一個大致的瞭解。

    我帶的大資料團隊主要以行業(場景)研發為主,並不作平臺級的產品研發,崗位分為以下幾個:

    1.大資料程式設計師。這個崗位是團隊中人數較多的崗位,涉及的工作內容也比較多,主要做基於資料的功能模組,使用的程式語言集中在Python、Scala、R以及Java幾種語言。

    2.資料分析員(偏呈現)。這個崗位的人數佔比也比較大,而且目前資料分析員的人員規模正快速增長。這個崗位的工程師以使用各種分析工具為主,目前我把做BI的工程師也併入到分析團隊中,效果還不錯。這個崗位對資料庫要比較熟悉,另外對各種分析產品要非常瞭解,幾乎沒有程式設計的要求。

    3.演算法設計。演算法是大資料的重要環節,目前我把演算法設計與實現進行了合併,也就是做演算法分析的同時也要做實現。目前演算法設計崗位均是研究生在做,使用的語言以Python居多。

    4.平臺實施。負責大資料平臺的搭建,比如Hadoop、Spark平臺的搭建、配置、測試等工作,把功能模組按照需求進行部署。這個崗位要非常熟悉常見的大資料平臺的特點,同時也要熟練操作一些流行的商用大資料平臺。這個崗位對程式語言有一定的要求,熟悉Java即可。

    總之,大資料研發團隊大部分崗位都有程式語言的要求,所以要學習大資料最好要掌握一門程式語言和一個數據庫產品。

    如果有大資料方面的問題,也可以諮詢我。

  • 中秋節和大豐收的關聯?
  • 35歲的人感覺很慌亂是怎麼回事?應該怎麼辦?