-
1 # 雞蛋牛奶叉燒包
-
2 # 雙腳飆車的人
又稱為巨量資料,指需要新處理模式才能具有更強的決策力、洞察力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。不過對我們老百姓頂多是個見識,大資料是經過分析統計計算得出來的。說白了是算出來的,有時效性的。你學習個毛線啊。得出結果運用就可以了,一般人沒能力掌握,依託網際網路得到的都是結果。沒有個大型計算機你玩個毛線,掌握個屁。
-
3 # 貳寶的爹
1980年,著名未來學家阿爾文·托夫勒便在《第三次浪潮》一書中,將大資料熱情地讚頌為“第三次浪潮的華彩樂章”。大約從2009年開始,“大資料”成為網際網路資訊科技行業的流行詞彙。 什麼是大資料? 大資料,或稱巨量資料、海量資料;是由數量巨大、結構複雜、型別眾多資料構成的資料集合,是基於雲計算的資料處理與應用模式,透過資料的整合共享,交叉複用形成的智力資源和知識服務能力。 有研究機構如此定義“大資料”:“大資料”是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。從某種程度上說,大資料是資料分析的前沿技術。簡言之,從各種各樣型別的資料中,快速獲得有價值資訊的能力,就是大資料技術。 大資料從何而來 美國網際網路資料中心指出,網際網路上的資料每年將增長50%,每兩年便將翻一番,目前世界上90%以上的資料是最近幾年才產生的。此外,全世界的工業裝置、汽車、電錶上有著無數的數碼感測器,隨時測量和傳遞著有關位置、運動、震動、溫度、溼度乃至空氣中化學物質的變化,也產生了海量的資料資訊。 物聯網、雲計算、移動網際網路、車聯網、手機、平板電腦、PC以及各種各樣的感測器,無一不是資料來源或者承載的方式。 大資料有多大 僅以網際網路為例,一天之中,網際網路產生的全部內容可以刻滿1.68億張DVD;發出的郵件有2940億封之多;發出的社群帖子達200萬個,相當於《時代》雜誌770年的文字量…… 截止到2012年,資料量已經從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。國際資料公司(IDC)的研究結果表明,2008年全球產生的資料量高達1.82ZB,相當於全球每人產生200GB以上的資料。而到2012年為止,人類生產的所有印刷材料的資料量是200PB,全人類歷史上說過的所有話的資料量大約是5EB。IBM的研究稱,整個人類文明所獲得的全部資料中,有90%是過去兩年內產生的。而到了2020年,全世界所產生的資料規模將達到今天的44倍。大資料的“4個V” 大資料的4個“V”指的是大資料的4個特點:第一,資料體量巨大。從TB級別,躍升到PB級別;第二,資料型別繁多,資料來源於各種各樣的渠道。第三,價值密度低,商業價值高。以影片為例,連續不間斷監控過程中,可能有用的資料僅僅有一兩秒。第四,處理速度快。一般要在秒級時間範圍內給出分析結果,時間太長就失去價值了。這個速度要求是大資料處理技術和傳統的資料探勘技術最大的區別。 由此,業界將大資料的特點歸納為4個“V”——Volume(大量)、Velocity(高速)、Variety(多樣)、Veracity(精確)。
什麼是雲計算? 雲計算(cloud computing)是透過網際網路把多個成本較低的計算實體整合成一個具有強大計算能力的完美系統。簡單理解就是,運營公司提供伺服器、應用程式、儲存空間,使用者透過網路遠端登入伺服器,並按照需要使用這些儲存空間和應用程式。狹義雲計算是指IT基礎設施的交付和使用模式,指透過網路以按需、易擴充套件的方式獲得所需資源;廣義雲計算指服務的交付和使用模式,指透過網路以按需、易擴充套件的方式獲得所需服務。它意味著計算能力也可作為一種商品透過網際網路進行流通和交易。 大資料與雲計算 從技術上看,大資料與雲計算的關係就像一枚硬幣的正反面一樣密不可分。大資料必然無法用單臺的計算機進行處理,必須採用分散式計算架構。它的特色在於對海量資料的挖掘,但它必須依託雲計算的分散式處理、分散式資料庫、雲端儲存和虛擬化技術。 數字時代的石油與黃金 一分鐘內,微博推特上新發的資料量超過10萬;社交網路“臉譜”的瀏覽量超過600萬…… 巨大的資料量,意味著什麼? 大資料對社會經濟生活產生的影響絕不限於技術層面,它為我們看待世界提供了一種全新的方法,即決策行為將日益基於資料分析做出,而不是像過去更多憑藉經驗和直覺做出。 “這是一場革命,龐大的資料資源使得各個領域開始了量化程序,無論學術界、商界還是政府,所有領域都將開始這種程序。”哈佛大學社會學教授加里·金指出。 業內人士指出,大資料是一種全新的致富手段,它的價值堪比石油和黃金。 雖然大資料在國內還處於初級階段,但是商業價值已經顯現出來。首先,手中握有資料的公司站在金礦上,基於資料交易即可產生很好的效益;其次,基於資料探勘會有很多商業模式誕生,定位角度不同,或側重資料分析。比如幫企業做內部資料探勘,或側重最佳化,幫企業更精準找到使用者,降低營銷成本,提高企業銷售率,增加利潤。 資料——未來最大的交易商品 未來,資料可能成為最大的交易商品。 IBM執行Quattroporte羅睿蘭認為,“資料將成為一切行業當中決定勝負的根本因素,最終資料將成為人類至關重要的自然資源。” 大資料的價值是透過資料共享、交叉複用後獲取最大的資料價值。麥肯錫則預測未來大資料產品在三大行業的應用就將產生7千億美元的潛在市場,中國大資料產品的潛在市場規模有望達到1.57萬億元,給IT行業開拓了新的黃金時代。 大資料正在重構很多傳統行業。透過收集、整理生活中方方面面的資料,並對其進行分析挖掘,進而從中獲得有價值資訊,最終衍化出新的商業模式。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在資料分析基礎之上的精準選址。在零售業中,資料分析的技術與手段更得到廣泛的應用,卓越亞馬遜、淘寶等透過對海量資料的掌握和分析,為使用者提供更加專業化和個性化的服務。 與此同時,大資料在社會管理等方面,也具有不可替代的重大價值。
-
4 # 月光1652671
大的資料也!萬物有數,易說,象數理形,象中有數,數中有理,理中有形矣!管子,墨子都重視數。資料是一個記錄,萬億個記錄怎麼樣?資料在手,就能知道你我他多少工資了,能有多少餘也!企業,家庭,地區,國家也可知嘵!數有了學問在象理形中!拜年了,新年旺旺,全家身心安康!!!!!
-
5 # IT大資料科技
至於誰說的大資料我覺得必要深究,只要瞭解大資料的發展史就可以啦,至於什麼是大資料?這個問題好說,大資料字面意思就是資料量很大,它有一個4v特徵,就是
Volume(大量)就是資料量很大,就是TB、PB級別的資料量,一臺機器很難處理,或者說是處理的力不從心。
Velocity(高速)速度快,就是處理資料的速度很快,這就需要技術來處理,像Hadoop處理起來資料時還可以,它是基於磁碟計算的,而Spark來說,計算是基於記憶體的,所以處理起來很快,是Hadoop記憶體計算的100倍。
Value(價值) 就是價值密度低,有可能1tb的資料中提取出一條關係的資訊。.....
從哪裡掌握大資料?你可以去apache官網上很多好玩的技術 比如Hadoop HIVE HBASE SPARK KAFKA FLUME SQOOP等,很多都是開源的技術,只要你用心學,就會覺得很好玩。
掌握大資料的目的肯定是要分析資料,挖掘資料 從大量的資料中分析挖掘出有用的價值,用來精準營銷,精準推薦,高層決策等。
-
6 # 墨蔸集
大資料,又稱巨量資料集合;是促進當下經濟發展及創新的核心資產。下面就題乾的問題逐一進行解答。 1.透過什麼方式接觸到大資料?(對題幹做了下調整,提供給大家一個認知的方式和渠道)
本人對“大資料”的深度認知,始於一本書《決戰大資料》。來自阿里前商業智慧(BI)副Quattroporte車品覺;資料界大牛,他的具體情況請自行百度。
在此之前的幾年裡,本人一直從事市場調研分析,客戶資料分析及營銷管理等工作,資料方面,主要為企業內部或外部企業客戶,提供商業經營類的資料工具CRM,EAP,SCM,SAP等的操作處理及維護管理,其中針對使用者資料方面進行了較為深入的資料分析及挖掘工作;
(大資料學習筆記)
當時由於大多企業存在“資訊孤島”效應的情況下,本人能接觸到的資料,無論從量級還是型別來看,充其量只能算個性化的資料集合,幾十萬左右,為特定的企業經營目的,提供運營決策參考等支援服務;
但是就因為此,奠定了本人對資料認知分類,資料指標庫構建,資料分析工具等有效運用的基礎,
所以要了解大資料,需要從什麼是資料開始瞭解;
2.什麼是大資料?;大資料,資料是核心,”大”是資料集合的特徵而已;
1)什麼是資料:分為字元型資料和數值型資料 ;
-- 字元型資料,由欄位和記錄組成(是不是一頭霧水),通俗點講,就是文字,語言,一段話對事物和現象的描述;比如,男,女;姓名,年齡等,無法進行計算,依靠資料間的相關性及關聯性發生關係;
-- 數值型資料,指自然數,和度量單位,可進行計算的資料,比如1,2,3,10%等;
2)什麼是“大”資料:從四個方面解析;
-- 指資料集合的量級超大,至少千萬級別以上;
-- 指資料型別或維度豐富繁雜,便於構建完善的指標庫及分析模型;
-- 指資料貢獻價值很大,在促進行業的發展、競爭及創新方面,起著決定性的核心作用;
-- 指資料分析處理的環境平臺,要求承載資料流轉量及速度的平臺體系龐大;
資料的處理分析,除了依靠專業資料分析工具外,還受限於工具執行的系統平臺,而平臺的效能及處理速度,極大程度制約著資料處理的效率;
比如EXCEL,普通PC機(研發人員配置)上,正常處理的資料量為50萬左右,100萬以上執行基本拖不動;
3.掌握大資料的目的是什麼?我們學習運用大資料的目的主要有以下兩個方面:
1)市場需求大;(瞭解現在)
-- 目前隨著市場經濟競爭加劇,資料運營已經提升到了核心競爭力的程度,市場競爭中,誰掌握大資料及擁有優秀的資料運營精英,誰在競爭中的勝算就多一分。
-- 大資料說白了就是一個工具而已;我們掌握它就是為了提升自我和團隊的工作效率,實現自我社會有效價值貢獻的最大化;
-- 這種企業對資料人才崗位的迫切需求,影響著資料人才供不應求;為了更好的就業,移機出自職業規劃考慮,越快越早掌握一門具備競爭優勢的技能,在人才領域也能脫穎而出;
2)自身痴迷;(預測未來)
-- 資料在越研究越深入的境地裡,越能感受到資料的魅力所在,從中獲取的未知解惑,預測快感,都會讓你廢寢忘食的痴迷其中,直至逐漸長成你大腦中的一個部分。
-- 比如炒股,針對商業資料的研究,對應投融資的風險把控;
-- 比如生物資料研究,對應的人工智慧的發展,為社會提供更為智慧智慧的生活方式;
-- 比如教育資料的研究,對應教育制度改革,影響整個民族;
-- 比如物理科技資料的研究,對應航天航空創新發展,及外太空領域的新探索等等,,,
3)二者兼顧;
愛好與職業技能疊加,於事業,於生活,於精神,三贏。
4.哪些方面入手學習並掌握大資料;如果完全小白,就建議從基礎學起《誰說菜鳥不會資料分析》,這本書通俗易懂,先掃掃盲,別鬧“資料就是一堆數字”這類貽笑大方的笑話;
1)如果具備一定基礎,如數學,計算機,統計,財務,金融等科班出身的童鞋,可以直接跳過,進入大資料學習;
2) Excel是入門工具,必學。
這裡學習的步驟簡單羅列:
1)確定學習的目標;
大資料研究方向每個分之都是一個龐大的系統工程,必須制定明確的研究方向;
這個目標決定著你研究大資料的方向及資料工具的選擇;
比如,側重生物科學研究;醫療行業;教育行業;金融行業;商業等等;
2)分析自我知識結構及系統思維成熟度;
大資料研究需要較為寬泛的知識面支撐,才能從海量資料及資料型別中判斷清洗,分析挖掘,推演預測出對應結果;而嚴謹周密的邏輯思維決定著結果輸出的價值高低;
透過分析羅列,知道自己的優勢和短板,進行相對應知識和技能方面的補充;
3)制定學習計劃;
-- 知識面不夠的,補理論知識,資料工具實操欠缺的,同步研究學習。
-- 邏輯思維模糊的,建議報班學系統學習提升下,這個短時間提升的難度較大。
具體看什麼書,學什麼工具的請自行百度,經典的工具有MindManager(思維導圖);針對小白比較容易上手;有基礎的可以研究project(專案管理)中的WBS任務分解,進度規劃/時間管理;(專案管理是個鍛鍊系統思維的好工具,掌握好了對以後的資料分析工作幫助也是很大的,這裡就不展開講)
4)持續學習案列並結合工作或生活開展實踐;
利用各種場景,不斷固化自我對資料的認知及敏感度,強化訓練自我邏輯思維的嚴謹性;
後記:其實在學習初期過程中,是個枯燥和焦灼的過程,大量的專業術語及函式庫,邏輯運算公式,會讓你感慨天書般的味同嚼蠟;同樣軟體工具的實操,也會時常令人手足無措;
但是還是要說的是,堅持,堅持,堅持,後面會越來越嗨順利……祝早日學成!
回覆列表
大資料的提出是很早的問題了。至於誰說的大資料,如何如何,有點廣告的味道。技能培訓切勿輕信。大多是騙人錢財,毀人青春。資訊化的今天資料就是金錢。資料就是商機。大資料在能源,傳統零售業。都有廣泛的應用。例如說。歐洲的電錶是雙向的,可以買電,也可以賣電。大資料統計出使用者用電高發期。可以提前生產,降低不必要的產能。從而降低成品。大資料最早的的提出是雅虎公司。馬雲曾在演講中提出大資料技術,畢竟阿里這樣的大企業,只要用大資料節約百分之一的運營成本,就是巨大的利潤。大資料主要應用層面是網際網路。傳統行業並不重視大資料,這個是不爭的事實。