大資料技術是指從各種各樣海量型別的資料中，快速獲得有價值資訊的能力。適用於大資料的技術，包括大規模並行處理（MPP）資料庫，資料探勘電網，分散式檔案系統，分散式資料庫，雲計算平臺，網際網路，和可擴充套件的儲存系統。大資料具備以下4個特點：一是資料量巨大。例如，人類生產的所有印刷材料的資料量僅為200PB。典型個人計算機硬碟的容量為TB量級，而一些大企業的資料量已經接近EB量級。二是資料型別多樣。現在的資料型別不僅是文字形式，更多的是圖片、影片、音訊、地理位置資訊等多型別的資料，個性化資料佔絕對多數。三是處理速度快。資料處理遵循“1秒定律”，可從各種型別的資料中快速獲得高價值的資訊。四是價值密度低。以影片為例，一小時的影片，在不間斷的測試過程中，可能有用的資料僅僅只有一兩秒。

大資料特點 -  6個V  

 • Volume： 巨大的資料量 

• 集中儲存/集中計算已經無法處理巨大的資料量。

 • 資料量呈指數增長：地震、錄井 、石油鑽塔的感測器一個月產生的資料量比全球所有的電影加在一起還要多。 

• 新浪微博使用者數2.5億+，高峰每天幾億條。

 • Variety ：非結構化資料多樣性

• 文字/圖片/影片/文件等，如諸如微地震，電磁以及光纖分散式溫度監測（DTS） 。

•  Velocity：資料增長速度快

• 使用者基數龐大/裝置數量眾多/實時海量/資料指數級別增長。

 • Value：資料的價值性

 • 每個鑽井平臺有 40,000 感測器,但是通常只有 10% 的資料使用到。

 • 每個深水鑽井平臺的投資可達到$150M,能有效利用所有的資料非常關鍵,關係到安全與最佳化運營 。

 • Vercity：資料的真實性

在維克托邁爾-舍恩伯格及肯尼斯庫克耶編寫的《大資料時代》提到了大資料的4個特點：

1大量

大資料的特徵首先就體現為“大”，強大的資料處理平臺和新的資料處理技術，來統計、分析、預測和實時處理如此大規模的資料。

2高速

就是透過演算法對資料的邏輯處理速度非常快，1秒定律，可從各種型別的資料中快速獲得高價值的資訊，這一點也是和傳統的資料探勘技術有著本質的不同.

3多樣

4價值

這也是大資料的核心特徵。現實世界所產生的資料中，有價值的資料所佔比例很小。你如果有1PB以上的全國所有20-35年輕人的上網資料的時候，那麼它自然就有了商業價值.

與其說是大資料，不如說是大資料時代，

一是人類處理資料的能力顯著增強。過去也有資料，但資料散亂，沒有強大的處理能力，所以發揮不了作用。現在之所以說已經進入了大資料時代，就是因為人類的處理資料能力大大增強了。雲計算和大資料是兩個方面，如果沒有云計算，也就無所謂大資料，雲計算能夠把海量的、零散的、有價值的資料進行快速處理並釋放出價值。

二是資料整合的形式愈發明顯。一般來講，政府掌控了大約80%的公共資料。而在企業資料方面，像阿里巴巴、百度、騰訊等網際網路巨頭掌握了海量資料。 不管是政府資料，還是企業資料，抑或是社會資料，整合的趨勢愈發明顯。打通政務流、企業流、社會流，技術整合趨勢是必然的。由於老百姓的消費行為可以影響政府決策，所以政府希望老百姓刷卡消費，讓資料歸集到政府這邊。

三是大資料應用領域不斷擴散。大資料在政治、經濟、社會、文化、生態等幾乎每一個領域都有著廣闊的應用前景。

四是圍繞大資料應用的創新持續活躍。我們看到新業態、新模式、新體制不斷出現，市場的活力也在得到不斷地釋放，個人的創造性也被大大地啟用，這是一個前所未有的時代。

上述大資料時代的四大特徵，在中國似乎得到了很清晰的驗證：網路規模全球第一 、網民數量全球第一 、智慧手機使用者全球第一 、網路社交參與人數全球第一、網購人數全球第一、電子商務交易額全球第一、移動支付全球第一；無處不在的網路 、無處不在的軟體、 無處不在的計算 、無處不在的資料 、無處不在的網際網路+。

大資料有多大

要理解大資料這一概念，首先要從"大"入手，"大"是指資料規模，大資料一般指在10TB(1TB=1024GB)規模以上的資料量。大資料同過去的海量資料有所區別，其基本特徵可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity)，即體量大、多樣性、價值密度低、速度快。

第一，資料體量巨大。從TB級別，躍升到PB級別。

第二，資料型別繁多，如前文提到的網路日誌、影片、圖片、地理位置資訊，等等。

第三，價值密度低。以影片為例，連續不間斷監控過程中，可能有用的資料僅僅有一兩秒。

大資料技術是指從各種各樣型別的巨量資料中，快速獲得有價值資訊的技術。解決大資料問題的核心是大資料技術。目前所說的"大資料"不僅指資料本身的規模，也包括採集資料的工具、平臺和資料分析系統。大資料研發目的是發展大資料技術並將其應用到相關領域，透過解決巨量資料處理問題促進其突破性發展。因此，大資料時代帶來的挑戰不僅體現在如何處理巨量資料從中獲取有價值的資訊，也體現在如何加強大資料技術研發，搶佔時代發展的前沿。

大資料的概念範疇，大資料（big data）是指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。麥肯錫全球研究所給出的定義是：一種規模大到在獲取、儲存、管理、分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合，具有海量的資料規模、快速的資料流轉、多樣的資料型別和價值密度低四大特徵。

大資料的5V特點，在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大資料時代》中大資料指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有資料進行分析處理。大資料的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。

具體而言容量（Volume）：資料的大小決定所考慮的資料的價值和潛在的資訊。種類（Variety）：資料型別的多樣性。速度（Velocity）：指獲得資料的速度。可變性（Variability）：妨礙了處理和有效地管理資料的過程。真實性（Veracity）：資料的質量。複雜性（Complexity）：資料量巨大，來源多渠。價值（value）：合理運用大資料，以低成本創造高價值。

從技術上看，大資料與雲計算的關係就像一枚硬幣的正反面一樣密不可分。大資料必然無法用單臺的計算機進行處理，必須採用分散式架構。它的特色在於對海量資料進行分散式資料探勘。但它必須依託雲計算的分散式處理、分散式資料庫和雲端儲存、虛擬化技術。

隨著雲時代的來臨，大資料（Big data）也吸引了越來越多的關注。分析師團隊認為，大資料（Big data）通常用來形容一個公司創造的大量非結構化資料和半結構化資料，這些資料在下載到關係型資料庫用於分析時會花費過多時間和金錢。大資料分析常和雲計算聯絡到一起，因為實時的大型資料集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。

大資料需要特殊的技術，以有效地處理大量的容忍經過時間內的資料。適用於大資料的技術，包括大規模並行處理（MPP）資料庫、資料探勘、分散式檔案系統、分散式資料庫、雲計算平臺、網際網路和可擴充套件的儲存系統。

資料技術是指從各種各樣海量型別的資料中，快速獲得有價值資訊的能力。適用於大資料的技術，包括大規模並行處理（MPP）資料庫，資料探勘電網，分散式檔案系統，分散式資料庫，雲計算平臺，網際網路，和可擴充套件的儲存系統。

大資料具備以下4個特點：

一是資料量巨大。

二是資料型別多樣。

三是處理速度快。

四是價值密度低。

核心價值：

（1）洞悉各行業新興市場，把握細分人群消費行為；

（2）發現企業的競品策略；

（3）跟蹤消費者的喜好及潮流趨勢