首頁>Club>
我被這個專業錄取了
2
回覆列表
  • 1 # LaoHuang188

    好好學,這個專業前景不錯!學好了,從事於人工智慧方面的工作,將來不會被人工智慧所代替。不過此專業讀研為好!

  • 2 # 綠茶清歡渡

    【熱門專業解讀】資料科學與大資料技術專業

    高考志願填報,某些專業的選擇對於每位同學未來的職業規劃,乃至人生規劃都有著非常重要的關鍵性,甚至是決定性的影響。雖然當下專業不對口就業的現象也很多,但專業性強崗位還是更青睞於對應專業的學生。因此,在高考志願填報過程中,特別是對指向性要求強的專業,選擇不容小覷。

    資料科學與大資料技術專業

    當今資訊社會,已從資訊時代邁入大資料時代,從資料收集時代到資料分析時代,高校在大資料方向上設定了哪些專業,作為新興專業,你又瞭解多少?

    一、專業概況

    專業名稱:資料科學與大資料技術;

    專業程式碼:080910T

    學制:四年;

    學位:工學或理學學位。(工學為主)

    人才培養目標:

    以大資料為核心研究物件,利用大資料的方法解決具體行業應用問題,強調培養具有多學科交叉能力的大資料人才。

    本專業是一個軟硬體結合、兼顧資料科學理論與應用的以計算技術為基礎的、以資料科學與大資料技術為特色的寬口徑專業。

    2016年2月,教育部公佈新增的“資料科學與大資料技術”專業,北京大學、對外經濟貿易大學、中南大學成為首家獲批高校。

    第一批(3所):

    1北京大學

    2對外經濟貿易大學

    3中南大學;

    2017年3月,教育部公佈第二批“資料科學與大資料技術”專業獲批的32所高校。

    第二批32所獲批高校名單如下:

    1 華人民大學

    2 北京郵電大學

    3 復旦大學

    4 華東師範大學

    5 電子科技大學

    6 北京資訊科技大學

    7 中北大學

    8 晉中學院

    9 長春理工大學

    10 上海工程技術大學

    11 上海紐約大學

    12 浙江財經大學

    13 宿州學院

    14 福建工程學院

    15 黃河科技學院

    16 湖北經濟學院

    17 佛山科學技術學院

    18 廣東白雲學院

    19 北京師範大學-香港浸會大學聯合國際學院

    20 廣西科技大學

    21 重慶理工大學

    22 成都東軟學院

    23 電子科技大學成都學院

    24 貴州大學

    25 貴州師範大學

    26 安順學院

    27 貴州商學院

    28 貴州理工學院

    29 昆明理工大學

    30 雲南師範大學

    31 雲南財經大學

    32 寧夏理工學院

    資料科學與大資料技術專業大學排名

    第一批3所,第二批32所,全國高校紛紛響應,都在積極申報,而且這完全符合國家推動大資料發展的政策,目前,中國已有200多所高校獲批該專業。陸續估計會有幾百所獲批。那麼,各大高校應該怎麼建設大資料專業,才能不至於掉隊呢?

    首先需要明確大資料專業需要培養的是具有多學科交叉能力的大資料人才。

    該專業人才一般需要培養以下專業能力:

    1、理論性的,主要是對資料科學中模型的理解和運用;

    2、實踐性的,主要是處理實際資料的能力;

    3、應用性的,主要是利用大資料的方法解決具體行業應用問題的能力。

    理論是基礎,實踐是工具,而應用則是目標與核心競爭力,一名合格的大資料專業畢業生應該具有讓資料產生價值的能力。

    其中,理論素養的培養需要透過經典的資料資料課程,比如描述統計(含資料視覺化)、迴歸分析、多元統計、機器學習(含深度學習)、時間序列、非結構化資料、運籌最佳化等,根據各學校的不同定位,以應用為導向,相應地開設基礎課程、核心課程或者選修課程。

    實踐方面,則需要以下幾個方面的鞏固提高。

    1、要強化SQL的訓練,這是在企業環境中,同資料庫基本的互動。

    2、要強化R和Python的 訓練。就R而言,幾乎所有最新的統計方法,都能找到相應的package,是小樣本學習訓練的不二之選;而在實際的資料產業中,Python則是被用得最 多的程式語言。

    3、平行計算能力的提升,主要針對兩種最常見的技術框架:Hadoop和Spark。

    最後,無論理論和實踐功課做得多足,沒有一個真實的應用場景,都無法產生價值,所以還需要產業實踐。

    比如,大資料與金融學結合催生出金融科技方 向,帶來了徵信、風控、自動化交易、機器人投資顧問等分支;

    資料探勘與生物學結合產生了計算生物學方向……而這些大資料應用都需要深入企業真實專案和案例的實戰。

    培養的層次區別

    社會對大資料人才的需求是多層次的,大資料人才的培養也應該有區別有重點。如果說碩士層次注重職業發展的廣度和綜合運用能力,本科注重紮實的學科基礎和工程實踐能力,而專科側重具體的崗位的技術運用能力。

    比如,高職高專學校怎麼建設大資料專業呢?從事資料探勘的人都知道,資料探勘的80%工作量都在資料清洗準備。這個工作又繁瑣,又消耗大量的人力,但是對技能水平要求並沒有那麼高,那麼高職高專學校正好可以培養大量大資料準備人才。

    任何專業人才的培養,任何一個學科的發展壯大,都離不開完整的教學體系、貼合的教學內容、適用的實踐應用平臺以及過硬的師資水平,大資料專業亦是如此。所以對於大資料專業的申報而言,如果能統一整合以上各方面資源,那麼專業建設將會變得事半功倍。

    二、資料科學與大資料技術專業都學些什麼?

    主幹課程

    數學分析、高等代數、普通物理數學與資訊科學概論、資料結構、資料科學導論、程式設計導論、程式設計實踐、離散數學、機率與統計、演算法分析與設計、資料計算智慧、資料庫系統概論、計算機系統基礎、並行體系結構與程式設計、非結構化大資料分析等。

    學科要求

    善於做需求分析、寫程式碼;善於與人溝通,喜歡探索未知;需要根據資料推演、分析、提出解決方案,有資料思維;需要持續保持學習狀態;內性格上能動能靜。

    知識能力

    1.具備紮實的資料基礎理論和基礎知識;

    2.具有較強的思維能力、演算法設計與分析能力;

    資料科學與大資料技術專業屬於交叉學科,以統計學、數學、計算機為三大支撐性學科;生物、醫學、環境科學、經濟學、社會學、管理學為應用拓展性學科。此外還需學習資料採集、分析、處理軟體,學習數學建模軟體及計算機程式語言等,知識結構是二專多能複合的跨界人才。

    以華人民大學為例(附高考錄取資料,詳細資料請查閱家長志願課堂):

    大學課程設定

    基礎課程(38學分):數學分析、高等代數、普通物理數學與資訊科學概論、資料結構、資料科學導論、程式設計導論、程式設計實踐。

    必修課(37學分):離散數學、機率與統計、演算法分析與設計、資料計算智慧、資料庫系統概論、計算機系統基礎、並行體系結構與程式設計、非結構化大資料分析。

    選修課:資料科學演算法導論、資料科學專題、資料科學實踐、網際網路實用開發技術、抽樣技術、統計學習、迴歸分析、隨機過程。

    三、資料科學與大資料技術專業人才需求情況怎樣?

    根據領英發布的《2016年中國網際網路最熱職位人才報告》顯示,研發工程師、產品經理、人力資源、市場營銷、運營和資料分析是中國護理萬網行業需求最旺盛的職位。

    目前國內有30萬資料人才,預計2019年,大資料人才需求將有大幅增長,高階人才如大資料科學家的缺口在14萬至19萬之間。

    懂得利用大資料做決策的分析師和經理缺口達到150萬,資料分析師現在需求就很旺盛了,2年工作經驗的月薪可達到8K,碩士學歷的資料分析師月薪可達到12K,5年工作經驗的可達到40萬至60萬元。

    四、資料科學與大資料技術專業可以從事的工作有哪些?

    重視資料的機構已經越來越多,上到國防部,下到網際網路創業公司、金融機構需要透過大資料專案來做創新驅動,需要資料分析或處理崗位也很多;常見的食品製造、零售電商、醫療製造、交通檢測等也需要資料分析與處理,如最佳化庫存,降低成本,預測需求等。

    人才主要分成三大類:大資料系統研發類、大資料應用開發類、大資料分析類,熱門崗位有:

    (一)大資料系統架構師

    大資料平臺搭建、系統設計、基礎設施。

    技能:計算機體系結構、網路架構、程式設計正規化、檔案系統、分佈並行處理等。

    (二)大資料系統分析師

    面向實際行業領域,利用大資料技術進行資料安全生命週期管理、分析和應用。

    技能:人工智慧、機器學習、數理統計、矩陣計算、最佳化方法。

    (三)資料分析師

    不同行業中,專門從事行業資料蒐集、整理、分析,並依據資料做出行業研究、評估和預測的專業人員。在工作中透過運用工具,提取、分析、呈現資料,實現資料的商業意義。

    作為一名資料分析師,至少需要熟練SPSS、STATISTIC、Eviews、SAS、大資料魔鏡等資料分析軟體中的一門,至少能用Acess等進行資料庫開發,至少掌握一門數學軟體如matalab、mathmatics進行新模型的構建,至少掌握一門程式語言。

    (四)資料探勘工程師

    做資料探勘要從海量資料中發現規律,這就需要一定的數學知識,最基本的比如線性代數、高等代數、凸最佳化、機率論等。經常會用到的語言包括Python、Java、C或者C++,我自己用Python或者Java比較多。

    有時用MapReduce寫程式,再用Hadoop或者Hyp來處理資料,如果用Python的話會和Spark相結合。

    (五)大資料視覺化工程師

    隨著大資料在人們工作及日常生活中的應用,大資料視覺化也改變著人類的對資訊的閱讀和理解方式。

    從百度遷徙到谷歌流感趨勢,再到阿里雲推出縣域經濟視覺化產品,大資料技術和大資料視覺化都是幕後的英雄。

    華人民大學與人大、北大、中科院大學、中財、首經貿五校聯合培養資料分析碩士第一屆畢業生(55人)就業情況:

    騰訊、百度等IT公司:22人;

    金融、銀行等:21人;

    出國、讀博等:5人;

    國家事業單位:6人;

    其它:2人。

    五、資料科學與大資料技術專業學習建議

    人才培養與行業發展存在差距。由於教學大綱更新不會太及時,大資料人才7年畢業(本科四年、碩士研究生三年)後,所學恐怕落後於行業發展。

    大資料人才的典型勝任特徵:善於做需求分析、寫程式碼;善於與人溝通,喜歡探索未知;需要根據資料推演、分析、提出解決方案,有資料思維;需要持續保持學習狀態;內性格上能動能靜。

    不同辦學層次的院校開設此專業,培養模式會有差異。

    高職類院校學生由於數學基礎相對薄弱,會跟多偏向於工具的使用,如資料清洗、資料儲存以及資料視覺化等相關工具的使用。

    本科院校會傾向於大資料相關基礎知識全面覆蓋性教學。

    在研究生段則會專攻某一技術領域,比如資料探勘、資料分析、商業智慧、人工智慧等。

    六、就業前景

    眼下正是新一屆大學生的校招季。這兩天,一則訊息引發了很多人的關注:AI應屆博士的年薪已經從去年的 50 萬元一下漲到了 80 萬元。但是,由於人才缺口巨大,即使是提高到了80 萬元年薪,企業還是難尋人才。

    為什麼同樣是博士,大多數理學博士、工學博士的起薪都從十幾、二十萬起步,而AI博士已如此金貴?

    據《 2017 全球人工智慧人才白皮書》顯示,人工智慧領域人才分佈極不平衡,全球AI領域人才約 30 萬,而市場需求卻在百萬量級。全球共有 367 所具有人工智慧研究方向的高校,每年畢業AI領域的學生約 2 萬人,遠遠不能滿足市場對人才的需求。據有關專家估計,華人工智慧學科人才需求缺口每年接近 100 萬!

    早在去年,葛鼕鼕在接受文匯報記者採訪時披露,“現在,一位高水平的、專攻人工智慧領域的人才,即便是剛出校門的本科畢業生,年薪幾十萬元的比比皆是。有的企業甚至用七八十萬元年薪招聘這個方向的博士生,而我們培養的人才卻供不應求,甚至已經無人可供。”

    資料化對各行業的衝擊,比預想的更猛烈

    時至今日,很多年輕的學生對大資料與人工智慧充滿了好奇。不管你今後是否要進入這個領域學習,不管你對大資料和人工智慧的認知是怎樣的,在你知道了以下這些事實後,至少會意識到一點:年輕的你們不管今後要從事哪個具體領域的工作,都已經無法規避大資料和人工智慧對你產生的影響。

    斯坦福大學前商學院院長Garth Saloner (高斯·塞隆那) 在臨離任前發給MBA學生的推特內容是:“如果你還在學校的話,最應該做的是到工學院去,學習任何和人工智慧、深度學習、自動化等相關的知識! 此刻!”

    行走在科研前沿,學術界同行已經越來越感到,我們的科研方式在受到大資料的衝擊。而我們每個人或多或少都能認知到:世界與以往不再那麼的一樣,它在改變,速度越來越快。

    事實上,人類的知識進化,過去幾年,正在以一個前所未有的加速度在進行。而這一切的發生,原動力來自於世界的資料化程序加快。相應的,大資料處理技術進化和完善也相當迅速,同時使得建立在此基礎上的人工智慧技術也進入了一個忽然加速、甚至技術爆炸的時期。

    現在的每一天,我們都可以感受到這些改變。當你開啟手機,新聞客戶端的推送是高度個性化的新聞,這是推薦系統在默默為你揀選你最可能感興趣的資訊。當你走出家門,網約車的出現讓你感受到交通的便利和分享經濟的實惠。而網約車的背後,則是一個基於整個城市實時交通狀況的平臺———是它在計算你的呼叫滿足方式。在你信用卡的申請裡,銀行考慮的不再僅僅是傳統的金融資料記錄,你度假的選擇、午餐的方式,甚至於敲擊鍵盤的大小寫偏好,都成為對你這個使用者分析的一個維度上的資料,進入對你的評估系統。

    往外去看,人工智慧和大資料帶來的社會變革比比皆是。自動化交易系統的進入,使得高盛在紐約現金股票交易櫃檯的交易員從2000年頂峰時期的600人縮減到今天的2人。波士頓動力公司開發的機器人,已經可以在複雜地形上縱跳如飛。谷歌開發的人工智慧選手,已經在圍棋人類最複雜的智力遊戲上擊敗人類。卡耐基梅隆開發的德州撲克人工智慧,已經在這個兼有博弈與計算的遊戲上擊敗人類世界冠軍。而這些智慧依然處在一個進化的狀態,但是已經越過人類這個奇點,它必然會絕塵而去,將我們徹底拋離。

    以資料化形式展開的活動將來會是金融等行業的主流,很多可重複、思想度略低的工作很快會被機器所取代,這個趨勢的來臨,遠比人類預想的猛烈。

    在盤點了這些熱點事件背後,讓我們再來談談技術的發展。最近10年來,資料積累的急劇增加和針對資料的全鏈條技術整體成熟,是催生大資料浪潮以及接踵而來的人工智慧熱潮的關鍵因素。粗略來講,在整個產業和技術鏈條上,包括了資料的提取與清洗 (網路爬蟲,結構化),儲存與讀取 (大資料架構系統/資料庫技術),規律分析與挖掘 (統計學習/機器學習/深度學習),建模與計算 (最佳化演算法/平行計算軟硬體技術),再到實際對接多個應用領域。

    這其中,硬體和系統進步非常重要。例如,Spark,Hadoop等使得並行儲存和計算前所未有得容易實現;GPU在平行計算的成熟,使得人工智慧的很多大規模平行計算任務,特別是深度學習等演算法,可以以更低代價更高效快速執行。計算和建模技術的進展,特別是機器學習 (去年以來熱點遷移到了深度學習) 在GPU平行計算等硬體支撐下,結合大資料處理技術快速興起,使得極多的傳統實際問題的解決方式,可以被機器學習在足夠資料訓練下更精確的結果和更簡單的建模方式擊敗。暴力美學,一至於斯!

    這些趨勢,在很多細分領域已經非常明顯。這些領域紛紛根據自己需求,啟動相應的研究。例如,在企業運營中,電商巨頭京東去年底提出“智慧供應鏈”,對供應鏈管理的幾個關鍵核心,從運用機器學習和運籌最佳化技術,建立起基於資料驅動的智慧分析系統,包括了根據歷史與環境自動智慧定價系統,實現自動補貨和調貨的智慧庫存系統,物流中的無人倉機器人智慧系統等。

    在金融領域,突破了傳統意義的金融模型,基於更廣泛大資料的徵信系統、風控系統,已經廣泛地被運用在國內多個銀行。有更多財經的事務,包括個人理財、資產管理,會計等———這些本來的白領工作,即使看上去似乎有一定複雜技術,但因其具有重複性,大趨勢已經顯示,非常大的工作份額會被人工智慧吞噬。

    再如區塊鏈,比特幣即為區塊鏈的一個初級應用形式。比特幣是用來交易的,而之前的任何一種交易,在數字化之後,怎麼樣讓它安全穩定、怎樣省略中間複雜的程式才是人類關注的重點。區塊鏈完美解決了這個問題,比如原來要蓋數十個章、寫幾十個文件的跨境貿易,應用區塊鏈後可以做到瞬時反應、電子文件瞬時生成,電子簽章很難被破解也很難被偽造和篡改。

    在企業生態上,大資料和人工智慧產生的具體影響,體現為商業巨頭與創業者齊飛競爭的態勢。

    去年開始,從美國到中國,幾乎所有的熱點大公司,都開始了自覺自發的轉型:向科技公司,或者以科技驅動的××公司努力。事實上,這些公司在人才的積聚和技術的積累上,有著自己雄厚的先發優勢和資金優勢。全面地如提出“新零售”概念的阿里、旗下科技驅動的金融公司螞蟻、物流公司菜鳥、在語音識別領域獨步天下的科大訊飛、無人機領域世界第一的大疆,都已經在向行業巨頭進化。

    小的創業公司更是如火如荼,如斯坦福運籌與最佳化演算法背景的智慧商業公司杉數科技,清華交叉資訊學院創業背景的視覺識別公司Face++,香港中文大學教授創業的商湯科技等,都帶有濃厚的學術氣息。

    業界擁有雄厚的資金和高水平的科研氛圍,這使得人才的天平正嚴重地向業界傾斜。

    這一輪浪潮,使得人工智慧,甚至相關的大資料、統計、運籌最佳化,計算機等多個學科都成為了搶手的存在。一個非常明顯的趨勢就是大公司對相關知識重視程度前所未有。公司內部的研究團隊,如微軟、谷歌、百度、騰訊等,都有自己的研究院,很多擔任著引領行業科技發展的角色。而且因為其擁有豐富的資料資源和實際背景,使得傳統上學界掌控科技前沿的狀況,已逐步演變為學界和業界互相促進互相競爭,甚至於業界領先學界,將學界拋離。這個趨勢在國內將特別明顯。其次,業界和高校之間,人才的拉鋸戰也會特別明顯。2015年5月,非常轟動的一個新聞就是優步 (Uber) 從卡耐基梅隆大學聯邦機器人工程中心 (NREC),從教授到博士後,將一個研究所挖走了40多人,基本清空了。

    從國內來講,資料、演算法、人工智慧的專家都特別昂貴難招。高校的優秀人才引入,更是遇到了前所未有的挑戰。此外,一個明顯的特點就是資料的價值也被充分發掘出來,資料變得特別的“值錢”,在很多業界已經被認為是公司的最核心價值體現。

    事實上,資料科學已經成為一個成熟的專業,在國外多數高校,資料科學的本科到博士學位專案都已經非常完備,也是受學生和用人單位歡迎的專案。例如,斯坦福的資料碩士專案設定在工學院的高等計算所下,學生需要從管理科學與工程,統計、數學、計算機等多個學院選課來完成專案。紐約大學的資料科學碩士專案,就業火爆,2017年有1500多名申請人,錄取不到100人。在國內,過去兩年,包括北京大學、復旦大學在內的35所高校設定了此專業。教育部已經將資料科學與大資料定義為新工科專業予以正式備案登記。

    眼下,資料科學與人工智慧領域雖然大熱,特別是深度學習,看似橫掃一切,但它真正進入人們視線,基本是從2012年Geoffrey Hinton教授等人在視覺影象識別大獲成功後才真正引起重視。所以回到原點審視的話,深度學習依然是一個充滿未知、有待人類去探索的領域。在應用層面,例如深度學習和機器學習的一些複雜演算法雖然高效,但是因其黑箱子性質,穩定性沒有理論保證,使得一些避險領域 (如金融) 依然會讓人心有疑慮,這也是研究者該去孜孜不倦探索與回答的挑戰。

    但是無論如何,人工智慧這個似乎昨天還在蹣跚學步的嬰兒,忽然間已經成為了強壯高大的巨人,開始迅速接管人類的各行各業。

    斯坦福大學吳恩達教授曾經做過一個比喻:“就像100年前電的發明改變了所有行業、農業、製造業、鐵路、通訊等等,我覺得人工智慧就像100年前的電力,也能為幾乎所有行業帶來巨大改變。”而這個未來,正以一個可怖的速度,呼嘯而來,與並未做好準備的我們迎面碰撞。

    未來已來,我們能做的,只能是盡我們最大的努力,張開雙臂,去迎接更美好的明天!

  • 3 # Piupiu小蝦米

    資料科學目前薪資比較可觀,就業前景廣闊。

    可以發展的方向有大資料分析和處理,機器學習等。可以提前研究推薦系統、深度學習、計算機視覺和自然語言處理等領域。

  • 4 # 家貧子讀書

    專業好壞,在個人學習。如果只是開發,這個專業和軟體專業的碼農區別不大,如果有數學根底,能夠建模,工資基本翻番。

  • 5 # 小時ing

    資料科學與大資料技術專業

    一、專業介紹

    ①大資料採集與管理專業屬於工學,是從大資料應用的資料管理、系統開發、海量資料分析與挖掘等層面系統地幫助企業掌握大資料應用中的各種典型問題的解決辦法的專業。

    ②目前已有283所高校獲批開設資料科學與大資料技術專業,在全國普通高等學校中佔比近10%。

    二、主要課程

    C程式設計、資料結構、資料庫原理與應用、計算機作業系統、計算機網路、Java語言程式設計、Python語言程式設計,大資料演算法、人工智慧、應用統計(統計學)、大資料機器學習、資料建模、大資料平臺核心技術、大資料分析與處理,大資料管理、大資料實踐等課程。

    三、畢業方向

    ①在政府機構、企業、公司等從事大資料管理、研究、應用開發等方面的工作(例如:大資料系統架構師、大資料系統分析師、hadoop開發工程師、資料分析師等)

    ②可以繼續讀研深造。考取軟體工程、計算機科學與技術、應用統計學等專業的研究生或出國深造。

  • 6 # 求真求實471

    這個專業在實際工作中會接觸spark,hadoop,flink,storm,zookeeper,kalfka等大資料技術,還有各種機器學習演算法,深度學習,tensorflow等。可以做推薦系統,研發大資料平臺等網際網路工作,工資還還高得誘人。

  • 7 # Python進階學習交流

    這個專業倒是非常不錯,重點看這個專業在該學校的地位或者定位如何,如果是重點學科的話,你選擇這個專業那真是非常不錯了,如果是個雞肋的專業,那你讀下來後,可能含金量就沒有那麼高了。

    不管怎麼樣,事在人為,如果你有心要學好,即便這個專業再怎麼偏,只要你有心學習技術,出來後,也是錢途無量的。

    加油~~

  • 8 # 大資料小白

    1、資料科學與大資料技術專業(Data Science and Big Data Technology),簡稱資料科學或大資料,資料科學很早就有,主要研究資料的一些基本規律,是一門理論學科,如我們經常遇到的機率與統計等,這些由來已久且理論基礎較為成熟,已經在很早之前就應用於實際中。

    2、而大資料技術則是最近幾年新興的技術,是一項工程技術,是當下的技術弄潮兒,所以各大企業、高校也爭相培養或者開設相關的課程,培養具有大資料思維、運用大資料思維及分析技術解決實際業務問題,並最終帶動業務增長的的高層次大資料人才。

    3、所以資料科學與大資料技術專業需要同時大資料科學的基礎理論,同時也要掌握包括計算機理論和大資料技術,因為大資料技術較為複雜,這裡分開來講。

    4、大資料技術主要包括大資料採集與儲存,大資料處理計算技術,大資料應用3個主要層面。

    4.1、大資料採集與儲存,大資料的大不僅體現在資料量大,還體現在資料來源複雜,資料結構不一致,資料一致性差等諸多方面,所以大資料的採集需要兼顧資料傳輸效率,資料來源的不統一等問題,還要考慮到資料同步問題。技術上來講,主要有Flume和kafka,具體的原理和區別這裡不展開了,感興趣的同學可以自己研究。

    4.2、資料儲存主要還是依賴hadoop hdfs的分散式儲存,拓展性強,可靠性高,最起碼目前來說應該是最好的儲存方案,也學習大資料的同學hadoop hdfs ,以及任務排程計算MR等都要很熟。

    4.3、資料處理計算主要是指基礎資料的處理和聚合計算,常用的有hive,但是hive有時是真的太慢了,所以後來才有了各種計算引擎,包括維度建模預計算的OLAP神奇kylin,還有面向實時計算的storm,spark streaming等,都在很大程度上提高了運算的效率,加速了大資料的查詢速度。

    4.4、資料應用主要是指資料分析和資料探勘,這一部分需要技術+業務的雙重理解,而且業務佔據了大部分的工作,也就是說你對業務的理解程度,決定了你的資料分析和挖掘的實際價值,這句話是不是很熟悉,哈哈,是的,就像機器學習中特徵工程是決定機器學習的上限一樣,技術固然重要,但是沒有基於業務邏輯的分許和挖掘就是自己跟自己玩,所以這一點尤其要分清主次。資料分析的一些常見分析工具包括sql,python和一些視覺化的工作包括powerbi,finebi,tableau等,資料探勘包括一些迴歸,分類,聚類,關聯和推薦等機器學習演算法,這就比較多了,可以根據自身的情況區學習。

    5、綜上來講,這個專業主要是透過理論+技術的學習系統地培養基礎的資料理論以及大資料的各種技術,掌握大資料應用中的各種典型問題的解決辦法,最重要的是將技術落地到實際業務,提升解決業務問題的能力,因為,解決不了問題的技術都是耍流氓。以上回答僅為自己的認知觀點,如有紕漏歡迎大家指正,希望對你有幫助!

  • 中秋節和大豐收的關聯?
  • 80%的新生兒在月子期間都會溼疹現象,媽媽要怎麼正確護理呢?