回覆列表
-
1 # IT人劉俊明
-
2 # IT少女
現在兩套體系比較吃香spark和阿里大力支援的Flink體系
一些大資料開發相關的小夥伴:
主要是Hadoop、Kafka、Hive,也要會MySQL~~目前工作中我接觸到的有hive,Spark,shell,Kafka,presto,flink,clickhouse。其他像什麼Druid,hbase的也有,但是基本沒接觸過。spark佔大部分。7月26號截止今天,已學java,mysql,maven,hive,hadoop,spark,scala,採集,數倉4.0,hbase,flume,kafka,linux,shell,zookeeper,git,redis,全程敲程式碼搞大資料大體分為做資料處理和基礎架構。前者重業務,後者重技術基礎。無論哪個都需要先學好技術。
大資料粗略可以分為hadoop系列的離線處理,flink一類的實時處理,部分公司也包含elasticsearch。還有其他元件暫不列舉。無論是hadoop系列,spark系列,flink系列還是elasticsearch系列,皆是JVM上執行的。所以程式設計最好學Java。大資料的要求普遍偏高,至少得把Java做到很瞭解(包括底層原理),至少其中一個系列很瞭解(比如elasticsearch的底層原理),再加上不錯的演算法能力,才有競爭力。
本科在大資料專業就讀進入大廠的機會還是比較多的,不論是在計算機學院就讀,還是在數理學院就讀,只要做好規劃,就能夠保證自己的就業競爭力,畢竟當前大資料領域的人才缺口還是比較大的。
從行業人才需求的基本面來看,未來大資料領域的人才需求會呈現三個趨勢,其一是人才需求會逐漸從開發崗向演算法崗過渡,其二是更注重行業場景知識,其三是更注重創新能力,所以要想提升自己的就業競爭力,要從這三個方面入手。
從近兩年大廠的人才需求情況來看,還是以開發崗居多,這與當前大資料技術正處在落地應用的初期有密切的關係,更多的行業需求都是以功能來驅動的,而不是以資料來驅動的,這種情況還會持續較長一段時間,所以本科生目前一定要重視開發能力的培養。
但是對於大資料專業的同學來說,未來要想充分發揮出自己的專業優勢,一定要重視演算法相關知識的學習,而且未來在產業網際網路時代,資料的價值會逐漸得到體現,大量的開發人員也會逐漸轉向從事資料價值化相關的崗位,比如做大資料預測。
實際上,不僅是本科生,對於不少主攻大資料方向的研究生同學來說,往往也是立足開發崗展望演算法崗,因為目前演算法崗的競爭依然比較激烈,如果一味地追求演算法崗往往會錯失進入大廠的機會。
對於要想進入大廠的本科生來說,要在本科期間重視三件事,其一是要構建相對完善的知識結構,同時還要有自己的主攻方向,其二是要重視實踐能力的培養,可以透過專業比賽和科研活動來實現,其三是積極參加實習。
目前管理學院也開設了大資料專業,但是在管理學院就讀往往會更側重管理學相關的知識,要想進入大廠從事技術崗位,一定要重視給自己營造一個較好的實踐場景。