回覆列表
  • 1 # IT人劉俊明

    做大資料開發需要具備一定的程式設計能力,這個程式設計能力主要體現在以下三個方面:

    第二,掌握常見演算法的實現。大資料開發大部分情況下都是對資料進行各種操作(排序、分析)等,而操作這些資料就需要使用各種常見的大資料演算法,比如最常見的排序演算法等。演算法設計與實現是大資料開發的重點內容,所以這部分能力的要求比較高。不同語言的實現過程還是稍微有一些區別的,Python語言在做演算法實現方面要比Java語言簡單一些。

    第三,掌握平臺知識。大資料程式設計是基於大資料平臺的,所以掌握大資料平臺的知識是做大資料開發的重要基礎。比如Hadoop平臺本身是採用Java語言開發的,所以與Java語言的整合還是比較好的,當然使用Python程式設計也可以。不管使用什麼語言,都需要了解平臺對開發的各種支撐。

    總的來說,大資料開發需要學習的內容還是比較多的,除了程式語言自身的內容以外,還需要學習演算法的設計與實現。另外,大資料平臺有一系列功能模組和元件,要想合理利用這些模組同樣需要一個學習的過程。

    大資料開發不建議在脫離專案的情況下進行,建議在實際專案中一邊學習一邊使用,這樣的效果會比較好。

  • 2 # Lake說科技

    我是LakeShen,專注大資料技術、網際網路科技見解、程式設計師經驗分享。

    作為一名軟體開發工程師,我現在從事的就是大資料方向。結合我當年校招找工作的經歷,個人認為,大資料中不同崗位對於程式設計能力的要求是不一樣的,如果你選擇的是大資料平臺開發或者大資料基礎元件開發,這兩種崗位會對你的程式設計能力有一定的要求,如果你選擇資料研發(ETL)、大資料分析師(BI)、大資料運維這三種崗位,那麼你的程式碼程式設計能力就不是那麼重要(程式碼程式設計能力不是你應聘的硬性條件),更多的是考查你對於資料方面的理解,對於業務和資料中潛藏資料價值的分析,下面我來具體分析大資料需要具備怎樣的程式設計能力。

    如果你大資料元件開發,由於大資料很多元件都是使用Java進行編寫,你最好也能夠有一門自己擅長的語言,同時,由於你是對大資料元件進行開發,你必須對你所選擇的大資料元件的原理和原始碼要有很深的理解,比如你選擇Hadoop,你需要了解到Hadoop 的MapReduce原理、HDFS上傳資料和下載資料的流程原理、Yarn是如何管理資源的等等。你也需要有一定的大資料元件運維能力,因為你需要保證線上大資料元件的穩定性。

    ETL同學、資料分析同學(BI)、大資料運維同學對於程式碼程式設計能力的要求沒有那麼高,ETL同學在應聘的時候,更多的是考查你的SQL語言的使用以及資料倉庫方面的理論知識,對業務資料的建模思想。資料分析同學,需要考查你對於資料中隱藏價值的洞察力,同時你的PPT能力也是你的加分項,所以對於資料分析同學,並不是只有計算機專業的同學才能選擇,有很多其他專業的同學也可以選擇大資料分析。大資料運維同學,可能更多的是考查你Linux命令的使用,你對Linux系統的理解、相關Shell指令碼的編寫等等,因為現在網際網路企業幾乎都將伺服器安裝在Linux系統,你以後做的也主要是對這些機器穩定性運維,所以你需要對Linux系統有很深的理解。

    總結

    總體來說,對於大資料不同的崗位,其對於程式碼程式設計能力的要求是不一樣的,你可以結合你自己的個人興趣以及以後的職業發展,來選擇適合自己的職業。當然,如果你有時間可以鍛鍊自己的程式碼程式設計能力的話,這對你以後的工作或多或少會有一定的幫助,沒準在以後的那一天,你就用上了你的這門技能。

  • 3 # 清閒的帆船先生

    大資料開發技術的學習對於現階段來說是非常重要的,企業對大資料開發技術的需求在逐漸增大,市場上相關大資料開發崗位在逐漸增多,在未來的發展過程中,大資料開發的發展空間會相對比較大,小夥伴對大資料開發技術的學習是一個不錯的選擇。

    大資料開發技術所涵蓋的技術體系是比較龐大的,小夥伴想要學好大資料開發技術知識,是需要具有一定的程式設計基礎知識的沉澱,而且還需要有一定的數學和統計學基礎。但是小夥伴不用灰心,對於零基礎小夥伴想要學習大資料開發技術知識,大資料培訓是一個比較靠譜的學習方式,小夥伴在大資料培訓班不僅能夠系統完善的學習相關開發技術知識,還可以積累一定的實戰經驗。

    1.相關基礎知識的學習積累

    小夥伴初學大資料開發技術主要以基礎知識為主,涉及到作業系統(Linux)、資料庫、程式語言(Java、Python、Scala)、演算法設計基礎以及統計學基礎知識。這一過程雖然內容比較多,還好所學到知識都不是很難。對於零基礎小夥伴在這一階段的學習過程中,最好是能夠寫一些相關的小專案,同時透過大資料培訓班老師的指導,相信很快能夠達到入門的階段性學習。

    2.大資料平臺開發學習

    接下來學習的內容主要以大資料平臺為主,對於初學大資料開發技術的小夥伴來說最好選擇開源的大資料平臺,比如Hadoop、Spark就是不錯的選擇,而且大資料培訓班都會有相關的案例為你提供一些學習資料,讓小夥伴更容易上手學習。

    3.專案實戰案例的練習

    小夥伴想要學好大資料開發技術知識,除了理論基礎知識的積累,還需要結合相關的專案實戰案例的練習來深入學習理解大資料開發技術知識,實踐的內容主要分為三個大的任務,分別是大資料應用開發、大資料分析和大資料運維,由於不同的崗位往往需要掌握不同的實踐能力,所以掌握更多的實踐知識能夠在一定程度上提升自己的崗位適應能力。

    小夥伴在學習大資料開發技術知識的過程中,雖然大資料開發技術基礎知識的積累很重要,但是也不要忽略了實戰專案案例的練習,小夥伴可以透過專案實戰案例的練習鍛鍊解決問題的能力,能夠更快的適應公司的開發流程,這些年來,尚矽谷大資料培訓機構一直堅持全程面授教學模式,以理論實踐相結合的教學方式傳授相關的大資料開發技術知識和開發經驗,讓小夥伴少走彎路,同時,培訓班還有相關的大資料影片供小夥伴下載學習!

    http://www.atguigu.com/bigdata_video.shtml

  • 中秋節和大豐收的關聯?
  • 阿爾德里奇砍下48分,馬刺大勝凱爾特人,本賽季阿爾德里奇能夠入選最佳陣容嗎?