大資料（Big data）通常用來形容一個公司創造的大量非結構化和半結構化資料，這些資料在下載到關係型資料庫用於分析時會花費過多時間和金錢。大資料分析常和雲計算聯絡到一起，因為實時的大型資料集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。 　　

簡言之，從各種各樣型別的資料中，快速獲得有價值資訊的能力，就是大資料技術。明白這一點至關重要，也正是這一點促使該技術具備走向眾多企業的潛力。

　大資料的4個“V”，或者說特點有四個層面：第一，資料體量巨大。從TB級別，躍升到PB級別；第二，資料型別繁多。前文提到的網路日誌、影片、圖片、地理位置資訊等等。第三，價值密度低。以影片為例，連續不間斷監控過程中，可能有用的資料僅僅有一兩秒。第四，處理速度快。1秒定律。最後這一點也是和傳統的資料探勘技術有著本質的不同。業界將其歸納為4個“V”——Volume，Variety，Value，Velocity。 　　

物聯網、雲計算、移動網際網路、車聯網、手機、平板電腦、PC以及遍佈地球各個角落的各種各樣的感測器，無一不是資料來源或者承載的方式。例子包括網路日誌，RFID，感測器網路，社會網路，社會資料（由於資料革命的社會），網際網路文字和檔案;網際網路搜尋索引;呼叫詳細記錄，天文學，大氣科學，基因組學，生物地球化學，生物，和其他複雜和/或跨學科的科研，軍事偵察，醫療記錄;攝影檔案館影片檔案;和大規模的電子商務。 大的資料需要特殊的技術，以有效地處理大量的容忍經過時間內的資料。適用於大資料的技術，包括大規模並行處理（MPP）資料庫，資料探勘電網，分散式檔案系統，分散式資料庫，雲計算平臺，網際網路，和可擴充套件的儲存系統。

　　一些但不是所有的MPP的關係資料庫的PB的資料儲存和管理的能力。隱含的負載，監控，備份和最佳化大型資料表的使用在RDBMS的。 　斯隆數字巡天收集在其最初的幾個星期，比在天文學的歷史，早在2000年的整個資料收集更多的資料。自那時以來，它已經積累了140兆兆 位元組的資訊。這個望遠鏡的繼任者，大天氣巡天望遠鏡，將於2016年在網上和將獲得的資料，每5天沃爾瑪處理超過100萬客戶的交易每隔一小時，反過來進口量資料庫估計超過2.5 PB的是相當於167次，在美國國會圖書館的書籍 。

FACEBOOK處理400億張照片，從它的使用者群。解碼最初的人類基因組花了10年來處理時，現在可以在一個星期內實現。 　　

“大資料”的影響，增加了對資訊管理專家的需求，甲骨文，IBM，微軟和SAP花了超過15億美元的在軟體智慧資料管理和分析的專業公司。這個行業自身價值超過1000億美元，增長近10%，每年兩次，這大概是作為一個整體的軟體業務的快速。 　　大資料已經出現，因為我們生活在一個社會中有更多的東西。有46億全球行動電話使用者有1億美元和20億人訪問網際網路。

基本上，人們比以往任何時候都與資料或資訊互動。 1990年至2005年，全球超過1億人進入中產階級，這意味著越來越多的人，誰收益的這筆錢將成為反過來導致更多的識字資訊的增長。思科公司預計，到2013年，在網際網路上流動的交通量將達到每年667艾位元組。 最早提出“大資料”時代已經到來的機構是全球知名諮詢公司麥肯錫。麥肯錫在研究報告中指出，資料已經滲透到每一個行業和業務職能領域，逐漸成為重要的生產因素；而人們對於海量資料的運用將預示著新一波生產率增長和消費者盈餘浪潮的到來。 　　

“麥肯錫的報告發布後，大資料迅速成為了計算機行業爭相傳誦的熱門概念，也引起了金融界的高度關注。”隨著網際網路技術的不斷髮展，資料本身是資產，這一點在業界已經形成共識。“如果說雲計算為資料資產提供了保管、訪問的場所和渠道，那麼如何盤活資料資產，使其為國家治理、企業決策乃至個人生活服務，則是大資料的核心議題，也是雲計算內在的靈魂和必然的升級方向。” 　　

事實上，全球網際網路巨頭都已意識到了“大資料”時代，資料的重要意義。包括EMC、惠普、IBM、微軟在內的全球IT 巨頭紛紛透過收購“大資料”相關廠商來實現技術整合，亦可見其對“大資料”的重視。 　　

“大資料”作為一個較新的概念，目前尚未直接以專有名詞被中國政府提出來給予政策支援。不過，在工信部發布的物聯網“十二五”規劃上，把資訊處理技術作為4項關鍵技術創新工程之一被提出來，其中包括了海量資料儲存、資料探勘、影象影片智慧分析，這都是大資料的重要組成部分。而另外3項關鍵技術創新工程，包括資訊感知技術、資訊傳輸技術、資訊保安技術，也都與“大資料”密切相關。

大資料，通俗來講，就是因為資料量的大幅增加，從而導致一列系列的技術更替、思維方式變化等。

底層技術更替：隨著科技的發展【萬物互聯的自動採集，例如：智慧手機的採集，工業自動化中的感應採集；社交媒體、自媒體時代的資料，每個使用者都產生大量資料】，資料量成指數級增漲，導致之前可以由普通Pc、小區型機能夠的儲存與處理資料，因為資料的大幅增加，儲存和處理都力不從心。因此引發了科技領域分散式技術的發展，即把多臺機器資源利用軟體技術，例如hadoop技術，把多臺機器形成一個邏輯的整體，以儲存和分析大資料。

思維方式變化：之前小量資料時代，人們更加關注的是，精確計算、因果關係；而到了大資料時代，更多的是抽樣預估，建立一個模型，不需要與所有資料均符合規律，只要70%以上的資料符合這樣的規律、模型，就有很大的利用價值。同時思考問題的方式，由因果關係轉換為關聯關係，我們不需要知道產生這個現象原因【事實上可能無法瞭解，因為原因太多】，只需要知道這個現象與其它資料關聯關係，就可以很大的利用價值。最典型的案例就是：沃爾瑪公司透過分析大資料發現，買紙尿褲的人很多都同時買了啤酒，於是讓工作人員將紙尿褲和啤酒放在相鄰位置，從而增加了銷售量。我們不需知道為什麼會有這個現象，即這個現象的原因【當然有興趣也可以去研究】，只需要知道這兩個事件有關聯關係，就可以提升銷售量。

大資料，聽名字就知道，肯定資料量很大

資料量一大能幹嘛？能幹很多事兒。

比如你知道你喜歡的姑娘的事很多，是超多，巨多。她什麼時候吃飯，吃什麼，什麼時候睡覺，蓋什麼被子，甚至睡覺喜歡的姿勢等等，你全知道，那你是不是想表個白，能預算的最好的時機，送禮物會選到最合適的禮物她最喜歡，吃辣條都知道她喜歡衛龍的，而不是別的。

再假如，你不僅對上面這一個姑娘瞭解，對和她同年齡段（18-23）的姑娘都很瞭解，掌握了海量的資料，這個年齡段的姑娘喜歡穿什麼顏色的衣服，去哪裡逛街，吃什麼，說什麼口頭禪，去淘寶還是京東，甚至雙十一她們買了什麼size的內衣和什麼顏色的內內都瞭如指掌，那你豈不是就知道自己在哪裡，開什麼商店，賣什麼東西，賣什麼大小和色號的。

上面就是大資料，就是海量的資料，然後為我所用，從過去的資料中發現我感興趣的內容，為我想幹的事情服務。

1.任何概念或事物的出現都是來解決人類問題的，大資料也不例外，大資料的出現是必然的，因為他是資料爆炸式的增長帶來的新事物。

2.大資料三個字包含三個詞語，一個是"大"，一個是"資料"，另一個是"大資料"。

3.第一個詞"大"要解決的是不僅是資料量大問題，還早解決增量大的問題，怎麼解決儲存和快速處理？

4.第二個詞"資料"要解決的是資料從哪來來，長什麼樣的問題，怎麼收集和規範化？

5.有了前兩步的基礎，才能順利解決第三個詞"大資料"的問題，這個詞要解決的也是我們平時直接面對的問題，如何讓大量的資料帶來價值問題。

隨著時代的發展，我們進入大資料時代，但是很多人還是不明白什麼是大資料，實際上，你已經在使用了，下面就告訴你什麼是大資料。

EB級別，這個又怎麼理解？

1TB，只需要一塊硬碟可以儲存。容量大約是20萬首MP3音樂，

1EB，2000億首MP3音樂，如果一個人一直聽可以聽2000000年。是不是很誇張？

大資料的價值主要來自於兩個方面：一個方面是給企業創造營收，另一個方面就是給企業節省成本。

1. 給企業創造營收

就比如阿里巴巴和京東，之前很多使用者的瀏覽記錄、購買資料都有儲存，現在透過這些可以分析使用者行為習慣，知道使用者的消費特徵、牌子喜好，這樣就可以引導商家怎麼去運營定位和怎麼去營銷。透過這些資料，不需要再去市場調研。不止電商，任何行業的都產出大資料，這個都是最寶貴的財富。

2. 給企業節省成本

企業生產經營需要大量的資源，大資料可以為企業提供基礎的資料統計報表，透過資料更直觀地瞭解企業的運作狀態，我知道目前這個階段我該怎麼決策，發現問題並及時解決問題。

說說我所接觸到的大資料吧。基本上上量級的公司都會對資料進行統計，整理，分析，預測。大資料和統計學裡面的概念是比較類似的，基於事物的歸納分析總結。因為這個概念用在了互聯網裡，所以起了一個看起來比較高大上的詞。我工作內容中時有接觸，因為資料比較海量，所以也延生出了一批新技術像hbase、hive、hadoop、storm、spark等。這些技術基本上我都用過，也還算比較熟悉瞭解。

沒人請，自己搬小板凳過來的，大資料時代、網際網路思維。這些聽起來高大上的詞彙到底是什麼意思？

所謂大資料大家一般都有個模糊的概念，但就光談大資料是什麼，其中不得不提馬雲。

事實上大資料的應用就發生在我們的身邊，譬如淘寶就是很好的利用了大資料，舉個例子吧。

比如你是個女性最近懷孕了，總買些孕婦產品，那麼淘寶就會分析你的資料從而得出你最近懷孕了，以此不斷給你推送孕婦產品。

這就是大資料的應用，所謂大資料他其實有些可怕，因為我們毫無隱私可言。

馬雲在一檔節目中就有講過，我們阿里的大資料有多牛呢？哪個地方的女孩胸最小我都知道——

是浙江。

透過你的購物，你的行為，給你“畫”出一組資料，這就是大資料。

有人認為大資料屬於新一代的資料倉庫。資料庫幾十年經過長時間積累，擁有了大量資料。將其中的資料清洗，抽取出來後，形成資料倉庫。但是，資料倉庫和大資料還是有一些區別。比如，資料倉庫用BI分析，大資料擴充套件到用人工智慧等；資料倉庫計算節點數一般100多個，而大資料計算節點數可到數千個。