-
1 # IT人劉俊明
-
2 # 紅臉濤哥
你好,這問題特別好,想提升自己的大資料職業道路。看你想從事大資料研發還是大資料其他崗位。為什麼這麼說呢?因為要是從事大資料研發,比較其他崗位難度大。前景更好。
我重點講講大資料研發需要做什麼?讓自己職業發展更高,路更寬。做研發,技術才是王道。咱們先來說說要掌握哪些技術。
一、大資料技術對計算機基礎知識,Java基礎知識要求都很高。計算機基礎包括:資料庫、計算機組成原理、資料結構、軟體工程等知識。這些知識要掌握紮實。Java基礎也一樣,大資料各個元件都是用Java語言實現的,所以Java基礎必須掌握好,還有JavaWeb相關框架,比如Spring-boot,Mybatis等等。
二、大資料生態圈各個元件執行原理和常用操作。核心框架有兩個:Hadoop和Spark。Hadoop相關元件包括:Hadoop(Hdfs+MapReduce)、Hive、Hbase、Sqoop、Flume、Kafka、Oozie、Impala、Hue、Zookeeper等。這些元件也是目前大資料技術使用最多的。Spark是基於記憶體計算的引擎,提供大量計算高階引擎庫。這裡面主要包括:Spark Core、Spark SQL、Spark Streaming、Spark MLlib、Spark GraphX五個核心庫。前三個庫大資料場景下使用比較多,後兩個庫機器學習,人工智慧場景下用的多一些。技術有一定門檻。學習者要有數學基礎。如:微積分、離散數學、線性代數、機率論統計等掌握好。
三、大資料應用場景解決方案,這裡解決方案不是技術層面的PPT講解。而是在某個場景下,用那個元件在遇到技術難題時怎麼解決。比較用Hbase海量資料毫秒級查詢。好多公司資料量很大了,應用場景要求實現毫秒級查詢。應該怎麼解決呢?這種解決方案也是技術核心。
四、行業技術擴充套件,大資料行業可以擴充套件到物聯網、雲計算、人工智慧等領域。雲計算伺服器可以做為大資料叢集的物理節點,運用物聯網技術產生的資料。大資料技術採集資料到大資料叢集中,做資料統計,資料分析。長期規劃,分析出來的資料可以做人工智慧訓練標籤,提供人工智慧分析結果。
總之、大資料職業發展前景一片大好,想從事這方面的人,一定要掌握好基礎知識。不斷學習,提升自己,還是那句話。技術才是王道。
回覆列表
這是一個非常好的問題,隨著當前大資料行業的從業者越來越多,很多從業者將隨著大資料的落地應用而選擇不同的發展道路,如何選擇適合自己的發展道路,以及如何獲得不斷的提升,將是很多大資料行業從業者面臨的重要問題。
目前大資料行業的從業者大多集中在技術領域,涉及到的崗位包括大資料開發(含平臺開發和應用開發)、大資料分析和大資料運維,這些崗位對於從業者的要求普遍比較高,需要具備豐富的知識結構以及較強的實踐能力。由於大資料相關技術目前正處在落地應用的初期,所以目前從事大資料相關技術研發的行業從業者,多以研發型人才為主,學歷也普遍比較高,所以在薪資待遇方面,大資料行業還是具有較為明顯的優勢。
對於目前從事大資料崗位的技術從業者來說,要想不斷提升自身的崗位級別和價值,要根據自己的知識結構和能力特點來選擇不同的發展方向,應該重點關注於以下三方面內容:
第一:物聯網。在5G通訊的推動下,未來物聯網領域會迎來眾多的發展機會,而且物聯網是大資料主要的資料來源,所以關注於物聯網知識能夠全面豐富自身的知識結構。目前大資料處在物聯網體系結構的第四層,處於承上啟下的關鍵位置,上是人工智慧,下是物聯網平臺。
第二:人工智慧。大資料本身並不是最終的目的,大資料的最終目的是應用,而人工智慧則是大資料的重要出口,所以在當前大資料技術體系逐漸成熟的當下,對於研發人員來說,下一步應該考慮向人工智慧方向發展。由於大資料分析本身就會使用到機器學習相關技術,所以從大資料進入人工智慧領域並不困難。
第三:行業解決方案。行業解決方案是大資料落地應用的重點,所以如果想在大資料落地應用的過程中獲得更多的發展機會,應該重點關注於大資料的行業解決方案,這對於大資料應用開發、大資料分析和大資料運維等崗位的從業人員來說是非常重要的。