-
1 # 思維界
-
2 # 山上的老白白
sql是關係資料庫的基礎語言,是現在大資料平臺用的資料庫可不是這個,但是學習大資料還是非常有必要學習sql的。因為,一、大資料的來源很多是從既有資料庫中提速的,這些資料庫基本都是關係型資料庫。只有熟知sql才能讀懂,操作,整合語言的資料,並提速後重新存入大資料平臺。二、關係資料庫的架構,邏輯,操作是經典,學好它才能更好的領會資料庫的奧妙,熟練掌握sql的查詢,插入,刪除,修改,並表,對了解資料的操作和分析本身就有很大的幫助。
-
3 # IT人劉俊明
雖然目前大資料的細分崗位比較多,但是主要集中在五個方面,分別是底層平臺研發、大資料應用開發、大資料分析、大資料運維和大資料教育。除了底層平臺研發往往需要中高階人才以外,其他崗位的知識結構並沒有太多的基礎性要求,下面對這幾大方面的知識結構做一個具體的介紹。
大資料應用開發崗位需要的知識結構包括大資料平臺體系結構、程式語言、資料庫(NoSQL)、演算法設計等內容,可見在大資料應用開發崗位需要掌握SQL,NoSQL的意思是Not only SQL(不僅僅是SQL),不是說不需要SQL。對於應用程式開發人員來說,掌握SQL是基本的要求。
大資料分析崗位的知識結構包括大資料平臺體系結構、程式語言、資料庫、演算法設計、演算法實現、資料呈現等內容,大資料分析注重演算法的設計與實現,而資料呈現則往往需要透過SQL語言完成資料的提取(BI),所以對於大資料分析人員來說是必須掌握SQL語言的,而且需要對SQL語言非常熟悉。
大資料運維的知識結構包括大資料平臺的搭建、元件部署、程式語言、平臺維護、網路維護等內容,對於運維人員來說掌握SQL語言也是一個基本的要求,因為大部分運維工作都需要對資料進行操作,透過Shell(Python)來編寫運維指令碼是一個比較常見的做法。
大資料教育則是為大資料行業提供人才培養的服務,大資料教育更是涉及到以上各個崗位的知識結構,當然需要掌握SQL語言了。
總之,目前大部分大資料崗位都是需要具備SQL基礎的,所以在學習大資料之前往往都先學習一下SQL和程式語言(Java、Python、Scala、R等)。
-
4 # 牛旦IT課堂
大資料涉及到很多方面,其中對程式設計和資料庫是基礎要求。
每一種程式設計都涉及到資料庫,可以說程式設計和資料庫是孿生一對出現的。
程式設計是你羅輯思維和應用的能力的直接體現,程式語言有很多,諸如JAVA,c/c++,Python,go,Javascript等等,掌握一門能熟練應用。
程式設計要和資料打交道,所以,資料庫操作就是必須的了,包裹關係資料庫和非關係資料庫(可以對應為SQL和 NoSQL)。
SQL是關係資料庫的結構化查詢語言的縮寫,而NoSQL意思是“Not only SQL”(不僅僅是SQL了)……
所以,搞大資料,沒有應用SQL的能力,真是“未知其可也”。
-
5 # 人工智慧與未明學院
先上結論:
學習大資料,SQL是基礎一、資料庫的SQLSQL是資料庫的基本查詢語言,無論是做後端開發,還是做資料分析,機器學習或者資料探勘,都需要熟練的掌握。
二、資料倉庫的SQL資料倉庫是大資料時代存放大量資料的地方,如果熟悉HIVE的同學,會發現HIVE的數倉操作幾乎和標準的SQL語言一致。所以一些mapreduce的基本操作都可以用SQL的語法來簡單的代替了。
總之,SQL是一個很簡單的語言,掌握他沒有壞處,所以好好學習吧!
-
6 # 薛定諤的小貓貓
我覺得學習大資料可以不學SQL,需要分散式計算用mr代替,不需要分散式計算用python也是可以的。但是這樣處理資料會比較麻煩,可能平時一個任務用SQL幾行程式碼就搞定了,但是換成mr或python可能要幾百行都是有可能的。
如果要進大公司並且搞大資料,SQL肯定是必不可少的,因為SQL處理資料特別方便,公司相應的業務會用到,自己也不得不學。SQL語法並不難,多學一門語言並沒有什麼壞處,所謂技多不壓身。
-
7 # 老虎哥說事
大資料是個與很多學科有關聯的領域,學習大資料是必須要學好SQL的,緣由如下:
1、資料整理需要大資料,是由許許多多的小型資料彙集整理而來。在整理小型資料時,肯定需要在各類資料庫中進行資料的查詢、彙總、過濾等操作,掌握SQL語句是必不可少的技能;
2、業務分析需要大資料,最重要的價值在於對積累人天數劇根據業務規則的需要進行清洗、建模、分析。在這一系列的過程中,一定會產生大量的臨時資料到資料庫中進行短暫儲存、查詢、彙總、過濾等操作,精通SQL語句是業務分析成果優秀與否的關鍵;
3、演算法程式設計需要市面流行的開發語言中,都對多種資料庫提供了良好的支援。現代軟體專案開發過程中,開發人員在涉及資料的儲存都比較流行用資料庫完成。試想下,一個大資料專案的開發團隊。大夥都在用SQL完成演算法或業務實現過程中資料的儲存、查詢、彙總、過濾等操作,一個不會SQL的開發者,將會是多麼的另類?
-
8 # 陸垚知瑪麗
背景
目前大資料行業異常火爆,這也導致越來越多的開發人員湧向,從崗位職責來劃分的話,大資料開發可以分為大資料探勘,大資料分析,平臺開發,以及大資料運維等崗位。
技能要求
對於上述崗位要求所掌握的技能是不同的,比如大資料分析和大資料探勘,就需要掌握爬蟲的必要知識,Hadoop生態體系上的一系列操作。平臺研發需要掌握平臺開發語言,前端,以及必要的網路調優等技能。
學習大資料是必須要學習SQL的。SQL作為傳統資料儲存工具,無論如今的大資料開發工具如何優秀,如何便捷,他們相當一部分的構建思想是遵從SQL開發的一套規則和邏輯,比如Hadoop上的Hive,它的語法就是參考SQL語法。儘管現在各家都有一套自己的獨立的生態體系,但如果要究其根源,很多都是複用現有技術,只是在此基礎上做改良包裝,這也就導致現在很多的開發人員會用工具,但不知道為什麼要這樣做。如果只是做一個只會用工具的程式設計師是遠遠不夠的,我們還需要懂得如何更好的用,只有瞭解其原理才能熟練掌握並使用。
總結其實SQL的學習時非常簡單的,網上有很多的教程可供參考學習,只要我們稍加花費時間,就可以掌握其基礎用法,大資料的學習是一個漫長的過程,中間不光涉及SQL,還涉及各種開發語言,各種程式設計思想,機器學習,AI等知識。這對大資料開發來說是一個挑戰。
-
9 # Lake說科技
對於資料研發(ETL)同學或者資料分析(BI)同學來說,SQL語言是必須要會的,因為你需要對大量資料進行加工處理,得到自己想要結果資料。
對於大資料平臺開發或者大資料元件開發而言,會不會SQL都可以,平時主要使用Java語言來進行工程開發,對於SQL語言的使用,並不是太多,除了在查詢關係型資料庫中資料時,會進行使用。
什麼是SQL目前不僅僅傳統資料庫支援SQL,其實很多大資料元件也漸漸開始支援SQL,尤其是在資料倉庫方面,比如Hive,Spark SQL,Flink SQL,Druid等等。支援SQL語言最直接的一個目的,就是提高開發效能。比如對於Flink元件,使用SQL你幾分鐘可能就將實時任務開發完成,但你如果使用其底層Java API進行開發,可能幾天你都不一定能開發出來。
為什麼資料研發或者資料分析需要學SQL資料研發同學主要的工作就是對資料進行ETL,即對資料進行抽取(extract)、轉換(transform)、載入到資料儲存(load)。可以是對關係型資料庫,也可以是對資料倉庫的資料進行加工。為了保持資料處理標準統一,需要使用SQL語言來對資料任務進行開發。統一使用SQL有一個好處,就是使得資料研發同學不會對開發感到陌生。
資料分析同學由於需要在資料中發現商業價值的論點,所以需要經常對資料分析。而資料分析同學又不是專門的開發同學,精通開發,所以使用SQL語言,能夠降低其處理資料的難度。現在的資料庫以及其他資料倉庫都支援SQL語言,資料分析同學想要在資料中找到自己的觀點,必須要學習SQL語言的使用。
為什麼大資料平臺或者元件開發不用學SQL大資料平臺或者大資料元件開發,平時都主要使用Java或者C++語言開發。而SQL語言主要是在資料處理方面應用比較多,由於工作內容的側重點不同,所以大資料平臺或者元件開發可以不用學SQL,就能夠直接上手開發。
當然,在日常的專案開發中,或多或少都會接觸到資料庫方面的使用,當更新或者查詢資料庫中的資料時,會使用到SQL語言,個人建議開發同學還是掌握一下SQL,在面試的時候也是一個加分項,畢竟SQL語言使用起來也不難。
總結在大資料領域,是否一定要學習SQL,最主要的還是要看你日常工作的內容,如果你平常和資料接觸比較多,主要就是對資料進行加工處理等,那麼學習SQL語言你是跑不了的。但是,你平時主要工作就是使用Java進行開發,那學不學SQL對你沒有任何影響。
個人建議每個開發同學還是要掌握一定的SQL使用,畢竟你不接觸SQL,但你肯定會使用到資料庫,對資料庫的操作就必須使用SQL語言。技多不壓身,反正SQL也不難。
-
10 # 星月在努力
資料資料,雖然大資料行業有不同的方向,但是歸根結底離不開資料。
SQL對於資料. 就像筷子之於米飯,那一粒粒的米飯要吃到嘴裡,不用工具咋行。
數以億計的資料儲存在ORCALE,SQL SERVER,MYSQL等等容器中,要呼叫就需要工具SQL語言。
SQL是基礎工具,就如同辦公軟體office中的word,Excel,PPT。
即使工作不需要取數,但是有基本功,會讓你的工作更加遊刃有餘。
這就是SQL對於大資料的意義。
-
11 # 慎一
廢話,sql是基礎語言,這個都不會,別說大資料演算法,連開發都不用做了。
-
12 # 長坡居士
SQL,結構化查詢語言的英文簡稱,是資料庫查詢的國際標準語言,對大資料的分析起著至關重要的基礎作用!外人看來一個簡單的資料,可能包含著分析師對海量資料的精確分析!可以這樣講,你不懂SQL,別丟失顯眼的告訴別人我學的大資料分析,基本上那是不可能的!
-
13 # MrLAMIYER
個人觀點 甭管幹什麼崗位 sql都是必須要會的
-
14 # 陸小亮
現在大資料的概念非常的火,金融行業和網際網路行業是資料主要爆發的行業。因為這兩個行業有大量的使用者行為資料和使用者交易資料。
我現在主要從事的就是資料分析的工作,主要的程式語言就是SQL。如果想要從事大資料的工作,那必須就要掌握SQL。
無論是ETL、資料分析、報表的開發和機器學習的特徵處理,底層都是SQL開發。因為利用SQL,我們可以快速的實現我們的業務需求。
現在很多同學在畢業後會選擇從事機器學習演算法或模型類的工作,但其實大部分的時間還是花在了特徵處理上。無論是基於現有的資料倉庫,還是利用第三方資料公司搭建的平臺,特徵工程都是利用SQL。
大資料的特徵工程可不是讀取一個檔案,利用pandas就能搞定的。都需要依賴於底層的資料倉庫,那就勢必要用SQL。
現在大資料最流行的元件Hadoop、Hive和Spark,基本上不會直接去編寫Mapreduce程式,都會使用HSQL或者SparkSQL來實現業務需求。
可以這麼說,學會了SQL,基本上各種資料處理引擎都能搞定。
即使你是系統開發人員,經常和Kafka、Storm等打交道,學習一下SQL,也會拓展你的技術棧。
最後,我想說SQL並不難學,花一週的時間去學習下,做一些案例,我相信你會掌握的。
-
15 # 使用者101562686385
根據孩子的學習成績來考慮他的方向,如果學習成績好,孩子有強烈的讀大學的慾望,那麼就讀高中。如果孩子實在不願意學習,難麼就讓他去職校,學一門自己有興趣的專業。
電腦學校可以的
-
16 # IT少女
因為資料在量大的時候,如果想在海量的資料中提取以及進行操作的話,普通的其他資料庫的操作方法,實際上與這個sql資料庫的操作是一樣的,應該說是大同小異,因此如果你要有學習大資料,就應該要學習sql資料庫的命令和相關的課程。
SQL是一種操縱資料庫的語言,主要包括增刪改查,對於資料分析師來說,一般只要查詢資料的,不能對資料庫進行增刪改,畢竟公司怕你刪庫跑路,今年6月24號位元組跳動實習生刪庫,三百多人去加班。
查詢資料程式碼的語法格式如下:
SELECT columns_name --查詢一列或多列,多列之間用逗號隔開
FROM Table --目標表
WHERE condition --過濾條件
GROUP BY columns_name --按列值分組,可以1個或多個列
HAVING condition --分組後的篩選條件,HAVING與WHERE區別在於前者表示式中可包含函式
ORDER BY columns_name --按列排序
LIMIT start, row_count --對結果進行限定,start表示從哪行開始,row_count表示結果行數
-
17 # 大牛郭
可以肯定的說,必須要學。如果哪個做資料分析的人跟你說不會SQL,那麼你完全有理由懷疑他就是個水貨。因為,這是資料分析中的第一個環節,資料探勘,沒有SQL功底,你連資料從哪裡獲取,如何獲取,都沒法完成。可以負責任的說,SQL就是資料處理領域的最基礎能力。
-
18 # 江邊聊程式設計
實在有點不明白這兩者有衝突嗎?為啥不能兩個一起學?沒有時間?SQL入門一週就夠了。大量的資料儲存在資料庫裡。放著這麼好的工具不用?
回覆列表
謝謝大資料分析,必須要學SQL相關的命令和相關的學習,因為資料在量大的時候,如果想在海量的資料中提取以及進行操作的話,普通的其他資料庫的操作方法,實際上與這個sql資料庫的操作是一樣的,應該說是大同小異,因此如果你要有學習大資料,就應該要學習sql資料庫的命令和相關的課程。