大資料的概念可能不同的人會有不同的理解，我自己從08年開始從事大資料相關的工作，那個時候我們是覺得自己搞的是雲計算和資料倉庫，而到了2011、2012年的時候，國內大資料的概念才興起來，之後就是炒了三年的概念。

因為從事這一方向，這幾年不斷會有人問我什麼是大資料？我一直都回答不好。在最近的幾個月，我對這一概念思考的更多一些，結合看過的一些資料（如《大資料時代》、《數學之美》第二版、《矽谷之謎》、吳軍的演講材料等）和實際的經歷，算是有了一些認識。與其說認識，還不如說是總結，換個角度看待這個問題，分為大資料概念和大資料思維。

我把大資料的概念總結為四個字：大、全、細

其實資料不僅僅在於資料的大小，只在滿足以上5個特點都可以稱之為大資料。

大資料的重要意義在於對資料價值的挖掘，只要在商業的核心業務上線的前提下，收集在業務的各個環節的資料，加以正確的處理和深度應用，從而發現數據中潛在的知識，為後續業務最佳化提供支援。

大資料的定義。

大資料，又稱巨量資料，指的是所涉及的資料資料量規模巨大到無法透過人腦甚至主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大資料的特點。資料量大、資料種類多、 要求實時性強、資料所蘊藏的價值大。在各行各業均存在大資料，但是眾多的資訊和諮詢是紛繁複雜的，我們需要搜尋、處理、分析、歸納、總結其深層次的規律。

大資料技術包括什麼。

大資料技術包括資料收集、資料存取、基礎架構、資料處理、統計分析、資料探勘、模型預測、結果呈現。

2、資料存取：大資料的存去採用不同的技術路線，大致可以分為3類。第1類主要面對的是大規模的結構化資料。第2類主要面對的是半結構化和非結構化資料。第3類面對的是結構化和非結構化混合的大資料，

3、基礎架構：雲端儲存、分散式檔案儲存等。

4、資料處理：對於採集到的不同的資料集，可能存在不同的結構和模式，如檔案、XML 樹、關係表等，表現為資料的異構性。對多個異構的資料集，需要做進一步整合處理或整合處理，將來自不同資料集的資料收集、整理、清洗、轉換後，生成到一個新的資料集，為後續查詢和分析處理提供統一的資料檢視。

5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、迴歸分析、簡單迴歸分析、多元迴歸分析、逐步迴歸、迴歸預測與殘差分析、嶺迴歸、logistic迴歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。

6、資料探勘：目前，還需要改進已有資料探勘和機器學習技術；開發資料網路挖掘、特異群組挖掘、圖挖掘等新型資料探勘技術；突破基於物件的資料連線、相似性連線等大資料融合技術；突破使用者興趣分析、網路行為分析、情感語義分析等面向領域的大資料探勘技術。

7、模型預測：預測模型、機器學習、建模模擬。

8、結果呈現：雲計算、標籤雲、關係圖等。

大資料的應用。

大資料可應用於各行各業，將人們收集到的龐大資料進行分析整理，實現資訊的有效利用。舉個例子，比如在奶牛基因層面尋找與產奶量相關的主效基因，我們可以首先對奶牛全基因組進行掃描，儘管我們獲得了所有表型資訊和基因資訊，但是由於資料量龐大，這就需要採用大資料技術，進行分析比對，挖掘主效基因。例子還有很多。大資料的意義和前景。總的來說，大資料是對大量、動態、能持續的資料，透過運用新系統、新工具、新模型的挖掘，從而獲得具有洞察力和新價值的東西。以前，面對龐大的資料，我們可能會一葉障目、可見一斑，因此不能瞭解到事物的真正本質，從而在科學工作中得到錯誤的推斷，而大資料時代的來臨，一切真相將會展現在我麼面前。

大資料是一種在獲取，儲存，管理，分析等方面大大超出了傳統資料庫工具能力範圍的資料集合，它具有海量的資料規模，快速的資料流轉，多樣的資料型別和價值密度的四個特徵。

大資料（big data），IT行業術語，是指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。容量（Volume）：資料的大小決定所考慮的資料的價值和潛在的資訊；種類（Variety）：資料型別的多樣性；

速度（Velocity）：指獲得資料的速度；可變性（Variability）：妨礙了處理和有效地管理資料的過程。真實性（Veracity）：資料的質量。複雜性（Complexity）：資料量巨大，來源多渠道。價值（value）：合理運用大資料，以低成本創造高價值