回覆列表
-
1 # 小豬love剪輯
-
2 # 漠鋮
大資料技術的體系龐大而且複雜,涉及的技術包含資料的採集、資料預處理、分散式儲存、NoSQL資料庫、資料倉庫、機器學習、平行計算、視覺化等各種技術範疇和不同的技術層面。如果真的決定入行大資料,需要做好長期的攻堅準備。
-
3 # 程式碼飼養員天齊
看到這個問題,忍不住的想說兩句,主要是想說說自己最近學習大資料的感受!原先一直想學習大資料,但總感覺忙抽不出時間學習,從去年開始下定決心,開始學習大資料。下面說一個個人的一些感受!
最初,認為從官網下載一些資料學習學習就可以了。於是下載了hadoop開始進行環境搭建。搭建了單機、偽分散式和分散式。看看Hadoop主要包含哪些東西。從官網看了些資料,看完之後,感覺還是不怎麼理解,感覺這要學的東西太多了。
感覺學了一段時間,效果不佳,開始找資料。從51cto、CSDN等找資料學習,學習之後有了一個大體的瞭解。基本學完了common、hdfs、mapReduce(mr)、yarn等幾部分,以及這幾部分的關係。
大資料不是一個框架,大資料是一個生態,需要學習的東西,比想象的要多的多。後面就開始找影片資料進行系統的學習。逐漸瞭解到大資料需要掌握的基礎知識包括java程式設計基礎、Linux基礎知識。hadoop的hdfs、mr以及yarn。後面的資料倉庫Hive,序列號編解碼Avro、Protobuf。分散式框架zookeeper。大資料資料庫Hbase。大資料日誌採集Flume。訊息佇列Kafka。大資料實時處理Storm。大資料實時計算spark及其相關程式語言scala。一般還要web開發的ssh或ssm框架等。
最後,想說知識雖然多,但只要堅持學習,總會有所收穫。程式設計需要多動手,多實踐,有助於你學習知識,加深理解。
本人具有多年的java開發經驗,熟悉多種框架,熟悉網路程式設計,熟悉java安全程式設計,熟悉大資料,熟悉多種安全協議,熟悉併發程式設計,有興趣的同學可以互相關注,互相學習!!!
大資料的學習還是挺難的,因為涉及的東西比較廣比較多,你要學習統計學的相關知識,還有學習人工智慧方面的。比如一些資料庫管理系統MySQL, MongoDB,開源、支援網路、基於記憶體、鍵值對儲存資料庫Redis,還有python,liunx,hadoop等等。勤能補拙,路漫漫,好好學習,發展很好。