回覆列表
  • 1 # IT人劉俊明

    大資料工程師有不少細分方向,不同的方向需要具備不同的知識結構,通常情況下大資料工程師分為四個具體的工作領域,分別是大資料底層平臺研發、大資料應用開發、大資料分析和大資料運維,其中大資料平臺研發工程師的數量佔比較少,屬於大資料領域的高階人才,往往從業者在研究生期間主攻的方向就是大資料平臺研發。

    大資料應用開發工程師是大資料領域一個比較熱門的崗位,由於目前大資料正在處在落地應用的階段,所以有大量的傳統應用需要進行大資料改造,因此大資料應用開發崗位有較多的人才需求。這個崗位需要掌握的知識結構包括大資料平臺體系結構,比如目前常見的Hadoop、Spark平臺,以及眾多元件的功能和應用,另外還需要掌握至少一門程式語言,比如Java、Python、Scala等,這些程式語言是可以開發落地應用的。

    大資料分析工程師是大資料領域非常重要的崗位,因為大資料的核心之一是資料價值化,而資料價值化的核心則在於資料的分析和應用,所以資料分析是大資料應用的一個重點所在。大資料分析工程師需要掌握的知識結構包括演算法設計、程式語言以及呈現工具,演算法設計是大資料分析師需要掌握的重點內容,而程式語言的作用則是完成演算法的實現。另外,大資料分析師還需要掌握一些常見的分析工具,比如一些常見的BI工具,在一些比較簡單的場景下BI工具能完成大量的工作,並生成呈現介面。看一個使用Python中scipy庫的應用:

    大資料運維工程師的主要工作內容是搭建大資料平臺、部署大資料功能元件、配置網路環境和硬體環境、維護大資料平臺,大資料運維工程師需要具備的知識結構包括計算機網路、大資料平臺體系結構、程式語言(編寫運維指令碼)等,通常情況下,大資料運維工程師也需要對資料庫有深入的瞭解。

  • 2 # 小七讀書漲知識

    樓主這樣問,應該是個剛接觸大資料的同學,咱不來虛的,實打實回答一下。

    第一,這兩個問題順序反一下,比較合理。先掌握一些大資料技術,再去成為優秀的大資料工程師。

    第二,如果是培訓或者自學,基本不會去做什麼底層平臺研發,根本不用考慮,就是放眼整個國內都是用的國外開源的大資料生態技術,直到近兩年才有一些國內大廠貢獻了幾個不錯的元件,但在企業裡落地使用情況怎麼樣還不好說。華為,騰訊都開源有自己的大資料元件,有的已經成為了Apache基金會的頂級專案,說明國內在底層,生態上的貢獻已經有一席之地了,但這種原始碼級工程師在各行各業都不太多的。

    那麼,做大資料工程師主要工作就是應用研發,資料分析和運維部署這三塊(說實話,安全這一塊也很重要,在大資料這塊尤其重要)。目前來看中小企業是不會特別區分這些崗位的,很多小企業連個正式的運維都沒有的,經常是一人身兼多職,有機會有本事的同學也可以到大廠感受一下研發氛圍和流程。

    做好了上述三個方面工作自然就算的上優秀了。應用研發方面要求熟悉大資料元件Hadoop,Hive,Spark,Kafka,Flink,Hbase,ES等,我這裡說的,你只要摸透精通其中三個,能力就不虛現在業內一半的大資料從業者。為什麼這麼說?大資料概念也就15年火起來,在這之前大學正經的大資料科班出身可以說不存在的,除了阿里騰訊等大廠自身資料優勢(被迫)成長起來的一點大牛之外,業內普通的大資料工程師哪個不是培訓或Java轉型過去的?打著高薪噱頭培訓機構蜂擁而至魚龍混雜,學生水平能力參差不齊,光學歷上都有初中畢業到碩士畢業的差別(我沒聽說博士去培訓這個東西的)。不吹不黑,培訓機構剛出來的良品率低到不能看。

    上述三個職責方面,運維部署其實排在最前,一般來說包含搭建大資料環境,升級叢集和安全維護這些(安全工作能做好,你很優秀!)。部署偽叢集一般也是學習大資料的第一步,不弄個叢集去學習練手,其他都是紙上談兵。各個課程大綱也都會講如何配置搭建。然後學習路徑也可以按照機構課程表來,畢竟他們目標是速成,想快速通關的看機構的課表沒錯了。想把基本功做紮實的就再參考大資料知識圖譜來查漏補缺吧。

    這個全都能做到,技術框架的硬本事已經無可挑剔了。程式設計師的基本素養補一補(程式碼規範之類),再看資料分析這一塊。大資料工程師區別於其他軟體開發工程師的地方,我覺得應該在這裡。你需要有自己的想法和資料分析能力,有一定資料敏感性,不能一直等著領導boss給你派活。機率統計,分析挖掘這一塊的知識要學習,提升軟實力。你要有做資料產品的頭腦,也要有資料驅動的心思。

  • 3 # 程式猿來導事

    怎樣成為優秀的大資料工程師?需要具備哪些技術?,說明如下:

    熟悉Hadoop生態體系

    1.HBase優缺點、架構以及HBase API使用

    2.搭建Hbase叢集、使用Hbase Web UI、使用HBase Shell、利用Java編寫程式在hbase中建立表、利用Java編寫程式向hbase表中寫入和讀取資料

    3.掌握Hive內部原理,瞭解常見Hive的最佳化方式

    4.Presto基本架構,Presto與Hive對比,Presto基本使用

    熟悉Spark生態體系

    1.掌握常見的Spark API,熟練使用Spark開發大資料分析程式

    2.掌握常見的機器學習演算法,能夠使用Spark MLlib工具包解決機器學習問題

    熟悉深度學習體系

    掌握深度學習技術,包括數學與Python技術,瞭解神經網路技術及開源框架Tensorfow、pytorch等。

    熟悉企業級大資料開發

    1.Hadoop + Kafka + Spark + Presto/Hive + Echart/D3結合開發大資料日誌分析系統

    2.Kafka + Spark Streaming + MLlib + Tomcat + J2EE + Echart開發大資料網站分析系統

    以上就是怎樣成為優秀的大資料工程師以及需要具備哪些技術的說明!

  • 4 # 千鋒頭號粉絲

    想要學習大資料開發,第一件事並不是要找書籍或者是找影片教程,而是要了解一下大資料行業前景,瞭解一下成為大資料工程師需要具備什麼樣的能力,掌握哪些技能我當初學習大資料之前也有過這樣的問題,作為一個過來人,今天就跟大家聊下大資料人才應該具備的技能。

    首先我們要知道對於大資料開發工程師需要具備的技能,下面我們分別來說明:

    用人單位對於大資料開發人才的能力要求有

    技能要求:

    1.精通JAVA開發語言,同時熟悉Python、Scala開發語言者優先;

    2.熟悉Spark或Hadoop生態圈技術,具有原始碼閱讀及二次開發工作經驗;精通Hadoop生態及高效能快取相關的各種工具,有原始碼開發實戰經驗者優先;

    3.熟練使用SQL,熟悉資料庫原理,熟悉至少一種主流關係型資料庫;熟悉Linux作業系統,熟練使用常用命令,熟練使用shell指令碼;熟悉ETL開發,能熟練至少一種ETL(talend、kettle、ogg等)轉化開源工具者優先;

    4.具有清晰的系統思維邏輯,對解決行業實際問題有濃厚興趣,具備良好的溝通協調能力及學習能力。

    以上就是想要成為大資料人才需要具備的技能

    那麼如何具備這些能力,怎麼學習了,對於大多數人來說,目前只有透過參加大資料的學習,才能夠系統的掌握以上的大資料技能,從而勝任大資料工程師的工作。

  • 中秋節和大豐收的關聯?
  • 黃偉文國語歌詞?