回覆列表
-
1 # 9點10分
-
2 # 首席程式碼執行官
首先,你需要熟悉linux作業系統,大資料是執行在linux上的。
其次,你需要有網路基礎。大資料一般是多臺伺服器組成的叢集,通過網路進行通訊。
第三,你需要jave基礎,把常用的類用法夯實。
好吧,現在開始正式學習大資料。
搭建一個hadoop叢集,研究他的計算和儲存方式,MapReduce,hdfs。研究他的資源排程方式yarn。接著研究hive,hbase,他們的出現是為了解決hadoop儲存和計算的缺陷。繼續研究spark和flink,計算模型比MapReduce先進的多。
當然,以上這些東西你學會了,需要用java介面來呼叫他們的api,比如進行MapReduce計算,建立一個hbase表之類的。
你可以買幾臺最便宜的雲伺服器來學習,每月幾百塊錢。
如果幫到您,記得采納。
-
3 # IT人劉俊明
這是一個非常好的問題,也是很多初學者比較關心的問題,作為一名IT從業者,我來回答一下。
首先,所謂的Java大資料通常指的是採用Java語言來完成一些大資料領域的開發任務,整體的學習內容涉及到三大塊,其一是Java語言基礎,其二是大資料平臺基礎,其三是場景開發基礎。總體上來說,Java大資料的學習內容是比較多的,而且也具有一定的難度。
我從事網際網路行業多年,目前也在帶計算機專業的研究生,主要的研究方向集中在大資料和人工智慧領域,我會陸續寫一些關於網際網路技術方面的文章,感興趣的朋友可以關注我,相信一定會有所收穫。
大資料可以實現的應用可以概括為兩個方向,一個是精準化定製,第二個是預測。比如像通過
搜尋引擎搜尋同樣的內容,每個人的結果卻是大不相同的。再比如精準營銷、百度的推廣、淘
寶的喜歡推薦,或者你到了一個地方,自動給你推薦周邊的消費設施等等。
隨著大資料行業的快速發展,也隨之出現了一些問題,比如大資料人才的缺失就是目前急需解
決的一個問題,那麼很多學大資料的人又出現了一些問題,就是大家普遍擔心的就是零基礎能
不能學習大資料,會不會不好學?
零基礎的人要不要去大數培訓機構學習大資料開發嗎?答案是可以的去。大資料學習並不是高
深莫測的,雖然對於零基礎學員來說不是那麼簡單,但是隻要你認真學習,加上有專業老師的
指導和針對性的訓練,相信你也是可以完全掌握大資料的。
零基礎的同學學習大資料開發不能急於求成,要分階段分步驟來一步步完成,大概可以分為四步:
首先,學習一門課程的時候,要對這門課程有一個簡單的瞭解,比如說,要先學習這門課程的
一些專業的術語,學習一些入門概念知道這麼課程是做什麼的,主要的學習知識有哪些。那麼
學習大資料就必須知道什麼是大資料,一般大資料的運用領域是那些,避免自己在對大資料一
無所知的情況下就開始盲目學習。
對於零基礎的小夥伴們來說,開始入門可能並不是那麼容易,需要學習大量的理論知識,閱讀
枯燥的教材。因為要掌握一門計算機程式語言,還是很難的。大家都知道計算機程式語言有很
多,比如:R,C++,Python,Java等等。
經過了前兩階段的基礎學習後,我們對程式語言也基本掌握了,接下來就可以進行大資料部分
的課程學習了。在這裡小編要特別提醒大家:行業真正大資料,82%主講都是hadoop、
spark生態體系、storm實時開發,初學者請務必認清你要學的是不是真正大資料!
實戰訓練可以幫助我們更好的理解所學的內容,同時對相關知識加強記憶。在以後的實際運用
中,可以更快的上手,對於相關知識的使用方法也有了經驗。
世上無難事只怕有心人,無論你是有基礎也好還是沒基礎也好,只要你認真學習大資料就一定
會學好。
大資料結合人工智可以達到真正的資料科學家。
機器學習:是一門多領域交叉學科,涉及概率論、統計學、逼近論、凸分析、演算法複雜度理論
等多門學科。它是人工智慧的核心,是使計算機具有智慧的根本途徑,其應用遍及人工智慧的
各個領域,它主要使用歸納、綜合而不是演繹。機器學習的演算法基本比較固定了,學習起來相
對容易。
:深度學習的概念源於人工神經網路的研究,最近幾年發展迅猛。深度學習應用的實
例有AlphaGo、人臉識別、影象檢測等。是國內外稀缺人才,但是深度學習相對比較難,演算法
更新也比較快,需要跟隨有經驗的老師學習。
最快的學習方法,就是師從行業專家,畢竟老師有多年積累的經驗,自己少走彎路達到事半功
倍的效果。
2018年全新升級大資料學習路線
第一階段:Linux理論
(1)Linux基礎;(2)Linux-shell程式設計;(3)高併發:lvs負載均衡;(4)高可用&反向代理
第二階段:Hadoop理論
(1)hadoop-hdfs理論;(2)hadoop-hdfs叢集搭建;(3)hadoop-hdfs 2.x & api ;(4)hadoop-MR理論 ;
(5)hadoop-MR開發分析;(6)hadoop-MR原始碼分析 ;(7)hadoop-MR開發案例
第三階段:Hive理論
(1)Hive介紹以及安裝 ;(2)Hive實戰
(1)HBase介紹以及安裝 ;(2)HBase調優
第五階段: redis理論
(1)redis型別 ; (2) redis高階
第六階段:Zookeeper理論
(1)Zookeeper介紹 ;(2) Zookeeper使用
第七階段: Scala語法
(1)Scala語法介紹;(2)scala語法實戰
第八階段: Spark理論
(1)Spark介紹;(2)Spark程式碼開發流程 ; (3)Spark叢集搭建;(4) Spark資源排程原理;
(5)Spark任務排程;(6)Spark案例;(7)Spark中兩種最重要shuffle;
(8)Spark高可用叢集的搭建;(9)SparkSQL介紹;(10) SparkSQL實戰 ;
(11)SparkStreaming介紹;(12)SparkStreaming實戰
第九階段:機器學習介紹
(1) 線性迴歸詳解; (2)邏輯迴歸分類演算法; (3)Kmeans聚類演算法; (4)KNN分類演算法; (5)決策樹 隨機森林演算法
第十階段:Elasticsearch理論
(1)Elasticsearch搜尋原理; (2) Elasticsearch實戰
第十一階段:Storm理論
(1)Storm介紹以及程式碼實戰;(2)Storm偽分散式搭建以及任務部署; (3)Storm架構詳解以及DRCP原理;
(4) 虛擬化理論kvm虛擬化 ; (5) docker
1,_推薦系統理論與實戰專案 Part2
2,推薦系統理論與實戰 專案Part1
3.實時交易監控系統專案(下)
4,實時交易監控系統專案(上)
5,使用者行為分析系統專案1
6,使用者行為分析系統專案2
7,大資料批處理之HIVE詳解
8,ES公開課 part1
9,spark_streaming_
10,資料倉庫搭建詳解
11,大資料任務排程
12,流資料整合神器Kafka
13,Spark
14,海量日誌收集利器:Flume
15,Impala簡介
16,Hive簡介
17,MapReduce簡介
18海量資料高速存取資料庫 HBase
19,淺談Hadoop管理器yarn原理
20,,分散式全文搜尋引擎ElasticSearch Part2