-
1 # 老閒
-
2 # 肯特崗大榕樹
首先,讓我們來了解一下,大資料需要學習哪些技術?
1、Java——Java可以編寫桌面應用程式、Web應用程式、分散式系統和嵌入式系統應用程式,是大資料學習的基礎;
2、Linux——大資料開發通常在Linux環境下進行;
3、Hadoop——分散式系統基礎架構,使用者可以充分利用叢集的威力進行高速運算和儲存;
4、Avro與Protobuf——資料序列化系統,可以提供豐富的資料結構型別;
5、HBase——分散式的、面向列的開源資料庫,是一個適合於非結構化資料儲存的資料庫;
6、ZooKeeper——Hadoop和Hbase的重要元件;
7、Hive——基於Hadoop的一個數據倉庫工具 ;
8、phoenix——用Java編寫的基於JDBC API操作HBase的開源SQL引擎;
9、Redis——key-value儲存系統;
10、Flume——高可用、高可靠、分散式的海量日誌採集、聚合和傳輸的系統;
11、SSM——Spring、SpringMVC、MyBatis三個開源框架;
12、Kafka——一種高吞吐量的分散式釋出訂閱訊息系統;
13、Spark——專為大規模資料處理而設計的快速通用的計算引擎 ;
14、Scala——大資料開發重要框架的程式語言;
15、Azkaban——可完成大資料流任務排程;
16、Python與資料分析——可用於資料採集、資料分析以及資料視覺化;對於沒有基礎的人來說,學大資料難嗎?
如果是計算機專業的學生,學大資料相對來說還是有一定基礎的,會比非計算機專業的人士好很多。由於現在各大高校幾乎沒有大資料專業,想學大資料的話,到計算機培訓機構學習效果會更好。而沒有任何計算機相關基礎的,想要學習大資料,難度還是很高的。因為培訓機構的培訓學習期一般都是4-6個月,要想在這短短的時間內學有所成,要付出的努力肯定要比別人多非常多!一旦在學習中有怠慢心理,那麼培訓結束後的學習成果肯定會比別人差很多。
當然,除了個人的努力之外,選擇好的培訓機構也是十分重要的,這決定了你在這段時間內的學習是否有效、有用。建議在選擇培訓機構時,一定要多方面瞭解該培訓機構的資質,不要隨意聽信宣傳而導致誤選,畢竟學習成本高,只有真正學到知識了,花費才是值得的。
回覆列表
審視大資料的維度有很多,不限於程式設計,還有大資料業務分析建模,大資料產品設計,大資料整體解決方案等,你可能還聽說過資料湖,是個什麼鬼
其實我猜題主是在問大資料程式設計,這是大資料生態最底的一層,專門針對程式設計師的。大資料程式設計,其實就是程式設計,只不過我們需要學習如何使用第三方的大資料框架,學習框架的程式設計,調優,運維。像hadoop,spark系列,storm,flume,kafka,elk框架,solr等等,不要被這些名詞嚇到,他們只不過是另外一套spring,rabbitmq,redis,mysql而已。
建議就案例學習,比如一個輿情繫統,先從網上搜索技術解決方案,檢視更通用的大資料開發框架,逐個擊破。
祝早日大資料學有所成!