一、大資料發展現狀

1. 什麼是大資料

大資料是指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。

大資料是一種規模大到在獲取、儲存、管理、分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合，具有海量的資料規模、快速的資料流轉、多樣的資料型別和價值密度低四大特徵。

大資料是一種需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力來適應海量、高增長率和多樣化的資訊資產。

2. 大資料戰略意義

大資料技術的戰略意義不在於掌握龐大的資料資訊，而在於對這些含有意義的資料進行專業化處理。換而言之，如果把大資料比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對資料的“加工能力”，透過“加工”實現資料的“增值”。

從技術上看，大資料與雲計算的關係就像一枚硬幣的正反面一樣密不可分。大資料必然無法用單臺的計算機進行處理，必須採用分散式架構。它的特色在於對海量資料進行分散式資料探勘。但它必須依託雲計算的分散式處理、分散式資料庫和雲端儲存、虛擬化技術。

3. 大資料發展現狀

大資料相關技術、產品、應用和標準不斷髮展，逐漸形成了包括資料資源與API、開源平臺與工具、資料基礎設施、資料分析、資料應用等板塊構成的大資料生態系統，並持續發展和不斷完善，其發展熱點呈現了從技術嚮應用、再向治理的逐漸遷移。經過多年來的發展和沉澱，人們對大資料已經形成基本共識：大資料現象源於網際網路及其延伸所帶來的無處不在的資訊科技應用以及資訊科技的不斷低成本化。大資料泛指無法在可容忍的時間內用傳統資訊科技和軟硬體工具對其進行獲取、管理和處理的巨量資料集合，具有海量性、多樣性、時效性及可變性等特徵，需要可伸縮的計算體系結構以支援其儲存、處理和分析。

當網際網路技術發展到今天，大資料和雲計算早已滲透我們生活。大資料以“降低資訊不對稱和提高決策有效性”為目標，可廣泛作用於幾乎所有行業，必將掀起一場新的革命。目前，大資料已經迎來了高速發展的黃金成長期，作用正在日漸也凸顯，我們看好其發展趨勢，推薦投資者提高對其中孕育機會的關注度。

從源到流看，大資料涵蓋資料入口、資料融合處理、資料應用三個過程;按照物理分層，大資料又可以分為硬體、基礎軟體、應用軟體和資訊服務四個維度。每一個細分領域都正在不斷演進，存在不少問題也孕育著巨大的機會，萬千創業者不斷地尋找著新的突破口。

二、大資料的核心價值

大資料的價值本質上體現為：提供了一種人類認識複雜系統的新思維和新手段。就理論上而言，在足夠小的時間和空間尺度上，對現實世界數字化，可以構造一個現實世界的數字虛擬映像，這個映像承載了現實世界的執行規律。在擁有充足的計算能力和高效的資料分析方法的前提下，對這個數字虛擬映像的深度分析，將有可能理解和發現現實複雜系統的執行行為、狀態和規律。應該說大資料為人類提供了全新的思維方式和探知客觀規律、改造自然和社會的新手段，這也是大資料引發經濟社會變革最根本性的原因。

大資料的價值體現在以下幾個方面：

（1）對大量消費者提供產品或服務的企業可以利用大資料進行精準營銷；

（2）做小而美模式的中小微企業可以利用大資料做服務轉型；

（3）面臨網際網路壓力之下必須轉型的傳統企業需要與時俱進充分利用大資料的價值。

三、大資料核心技術

大資料需要特殊的技術，以有效地處理大量的容忍經過時間內的資料。適用於大資料的技術，包括大規模並行處理（MPP）資料庫、資料探勘、分散式檔案系統、分散式資料庫、雲計算平臺、網際網路和可擴充套件的儲存系統。

一個完整的大資料分析工作流程大致包括以下幾方面：

大資料收集與匯入 → 大資料清洗與質量控制 → 大資料管理與儲存 → 大資料分析與視覺化 → 大資料建模與模型管理

1. 大資料收集與匯入

大資料的收集與匯入就是把資料寫入資料庫。在深度學習興起之前，“資料”大多是結構化資料（表格）；而到了大資料時代，“資料”不只是結構化資料，更多的是非結構化資料（圖片，聲音，影片）。隨著需要收集的資料量的增大，資料的實時收集、實時處理變得不是那麼容易。

大資料採集是各種不同資料來源的資料進入大資料系統的第一步，這個步驟的效能將會直接決定在一個給定的時間段內大資料系統能夠處理的資料量的能力。資料採集過程中的一些常見步驟是：解析步驟去重，資料轉換，並將其儲存到某種持久層，涉及資料採集過程的邏輯。

大資料採集工具需要滿足以下目標和要求：

高效能：處理大資料的基本要求，如每秒處理幾十萬條資料

海量式：支援TB級甚至是PB級的資料規模

實時性：保證較低的延遲時間，達到秒級別，甚至是毫秒級別

分散式：支援大資料的基本架構，能夠平滑擴充套件

易用性：能夠快速進行開發和部署

可靠性：能可靠的處理資料

為了解決這些問題，目前流行的工具有以下幾種：

Spark

Spark流是對於Spark核心API的拓展，從而支援對於實時資料流的可拓展，高吞吐量和容錯性流處理。資料可以由多個源取得，例如：Kafka，Flume，Twitter，ZeroMQ，Kinesis或者TCP介面，同時可以使用由如map，reduce，join和window這樣的高層介面描述的複雜演算法進行處理。最終，處理過的資料可以被推送到檔案系統，資料庫和HDFS。

理與

Kafka

Kafka是一種高吞吐量的分散式釋出訂閱訊息系統，它可以處理消費者在網站中的所有動作流資料。它的最大的特性就是可以實時的處理大量資料以滿足各種需求場景：比如基於Hadoop的批處理系統、低延遲的實時系統、Storm/Spark流式處理引擎，Web/Nginx日誌、訪問日誌，訊息服務等。

Kafka有如下特性：

高吞吐量、低延遲：Kafka每秒可以處理幾十萬條訊息，它的延遲最低只有幾毫秒，每個topic可以分多個partition, consumer group 對partition進行consume操作。

可擴充套件性：Kafka叢集支援熱擴充套件

永續性、可靠性：訊息被持久化到本地磁碟，並且支援資料備份防止資料丟失

容錯性：允許叢集中節點失敗（若副本數量為n,則允許n-1個節點失敗）

高併發：支援數千個客戶端同時讀寫

Flume

Flume是Cloudera提供的一個高可用的，高可靠的，分散式的海量日誌採集、聚合和傳輸的系統，Flume支援在日誌系統中定製各類資料傳送方，用於收集資料；同時，Flume提供對資料進行簡單處理，並寫到各種資料接受方（可定製）的能力。

Flume具有如下優勢：

Flume可以將應用產生的資料儲存到任何集中儲存器中，比如HDFS,HBase

當收集資料的速度超過將寫入資料的時候，也就是當收集資訊遇到峰值時，這時候收集的資訊非常大，甚至超過了系統的寫入資料能力，這時候，Flume會在資料生產者和資料收容器間做出調整，保證其能夠在兩者之間提供平穩的資料.

提供上下文路由特徵

Flume的管道是基於事務，保證了資料在傳送和接收時的一致性.

Flume是可靠的，容錯性高的，可升級的，易管理的,並且可定製的。

2. 大資料質量控制

圍繞完整性、準確性、一致性、及時性監控分析資料質量問題、提升企業資料質量。從資料接入、資料加工、資料匯出、指標、資料應用實現全鏈路血緣跟蹤、提前預判資料是否能夠準時產出、瞭解任務失敗後影響分析以及快速地修復。

3. 大資料管理與儲存

因此資料呈現方法眾多，可以是結構化、半結構化和非結構化的資料形態，不僅使原有的儲存模式無法滿足資料時代的需求，還導致儲存管理更加複雜。

大資料的價值密度相對較低，以及資料增長速度快、處理速度快、時效性要求也高，在這種情況下如何結合實際的業務，有效地組織管理、儲存這些資料以能從浩瀚的資料中，挖掘其更深層次的資料價值，需要亟待解決。大規模的資料資源蘊含著巨大的社會價值，有效管理資料，對國家治理、社會管理、企業決策和個人生活、學習將帶來巨大的作用和影響，因此在大資料時代，必須解決海量資料的高效儲存問題。

大資料儲存工具如下：

HBase – Hadoop Database，是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統。HBase不同於一般的關係資料庫，它是一個適合於非結構化資料儲存的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。

ElasticSearch是一個基於Lucene的搜尋伺服器。它提供了一個分散式多使用者能力的全文搜尋引擎，基於RESTful web介面。Elasticsearch是用Java語言開發的，並作為Apache許可條款下的開放原始碼釋出，是一種流行的企業級搜尋引擎。ElasticSearch用於雲計算中，能夠達到實時搜尋，穩定，可靠，快速，安裝使用方便。

4. 大資料分析與視覺化

資料視覺化主要旨在藉助於圖形化手段，清晰有效地傳達與溝通訊息。資料視覺化與資訊圖形、資訊視覺化、科學視覺化以及統計圖形密切相關。當前，在研究、教學和開發領域，資料視覺化乃是一個極為活躍而又關鍵的方面。“資料視覺化”這條術語實現了成熟的科學視覺化領域與較年輕的資訊視覺化領域的統一。

大資料分析與視覺化工具主要有：QlikView，Klipfolio，Tableau，Geckoboard，Power BI和Google Data Studio等。

5. 大資料建模與模型管理

大資料建模功能會涉及哪些工作？

第一步是業務理解和業務梳理，將業務問題抽象成數學問題。

對應的是需求和產品的職位，要求業務溝通能力，要求對所在行業的業務知識和運營有了解。

第二步，資料探索。

一般在和業務初步確實問題後要取資料，做資料探索，確定和證實前期的問題是不是真問題，還是假需求，如果是真問題，則確定下一步問題方向。這一步要求資料庫，探索性資料分析，問題分析等技能。相應的是BI的職位，有些公司統稱資料分析。

第三步，數學建模。

也就是核心的資料探勘演算法。在工業屆，都有現在的工具，主要時間都花在特徵挖掘和調參方面。

第四步，提出解決方案。

大資料模型部分工具舉例如下：

Power Designer

ER/Studio

Sparx Enterprise Architect

CA Erwin

IBM - InfoSphere Data Architect

四、大資料未來的發展機遇

目前制約大資料更好更快發展的主要問題有以下幾點：

一是資料的歸屬權不清晰，各家資料資產型企業私密佔有平臺數據，制約著大資料的融合及發展;

二是資料有效性將直接影響到大資料的應用水平，從源資料到分析樣本的採集過程需要大量人工干預;

三是配套軟硬體成熟度不夠：適宜處理海量資料的資料庫軟體尚未成熟，私有云的普及程度也不高;

四是資料尚未獲得真正意義上的定價和產業化。

現在已經有越來越多的行業和技術領域需求大資料分析系統，例如金融行業需要使用大資料系統結合 VaR(value at risk) 或者機器學習方案進行信貸風控，零售、餐飲行業需要大資料系統實現輔助銷售決策，各種 IOT 場景需要大資料系統持續聚合和分析時序資料，各大科技公司需要建立大資料分析中臺等等。

大資料的核心是整合海量資料，提取有用的價值，主要是分析大量資料根本的價值。掌握了大資料核心內容就相當於掌握了未來的商機，也就是他最中的目的。

畢達哥拉斯說數是萬物的本源，物聯網的快速發展使得資料的採集、傳輸、存貯變得如此之便捷與低廉，資料世界已成為獨立於傳統物理世界和人類社會的第三空間，是分析、完善客觀和主觀世界的重要支撐。

大資料分析的本質就是人工智慧技術，只有AI技術才能實現資料價值的挖掘與變現，才能實現產業的重構、經濟的重構。

首先感謝邀請，大資料時代資料的核心在於資料的清洗和整理，以及對資料變現的一個整體規劃，所謂掌握大資料的高階人才，這裡的高階用詞有些不是特別的恰當。當所有人遇到大資料這三個字的時候都認為這是一個非常高階而且高階的一件事情，實際上大資料在處理的過程中應當是從最小的辦公檔案或辦公文件開始，所謂的大資料也並沒有一個精準的資料來衡量多少資料才叫大？

但是對於這個掌握了大資料分析的人才來講它們的發展機遇是肯定的，至少在未來的三年以內，大資料和資料分析以及人工智慧所依靠的都是需要資料的支撐，已經目前最火熱的新媒體以及區塊鏈都是依據資料的，那麼由此而來，我們就可以看見資料的重要性佔據了核心重要地位也就是阿里巴巴為什麼要去做雲計算的一個過程也就是為什麼他們要花很大精力去做這個雲計算以及大資料核心領域的東西，所以到目前為止，整個阿里巴巴都是這樣子來說的，他們認為賺錢的領域仍然還是阿里巴巴的傳統商務平臺，但是這個雲計算並沒有賺錢，但是他賺了技術和吆喝的資本！

大資料的核心是資料價值化，資料價值化體現在資料分析和應用兩個主要方面，下面對這兩個方面內容做一個簡單的描述。

首先看一下什麼是資料分析，資料分析簡單的說就是從一堆雜亂無章的資料中找到其背後的規律，透過不同的呈現方式把分析的結果給呈現出來，從而輔助使用者做出各種決策。早期的資料分析有一種說法叫做透過現象看本質，這是一個典型的小資料重因果的分析方式，在大資料時代背景下，資料分析不僅看重因果關係，也看重相關關係，因為相關關係本身也存在一定的因果關係，也可以輔助使用者做出各種決策。

資料分析是一個比較複雜的過程，需要相關從業者具備紮實的數學基礎，目前採用機器學習的方式進行資料分析也是一個重要的趨勢，這就要求資料分析工程師具備演算法設計和演算法實現的能力，當然還需要對演算法進行驗證。

接下來看一下大資料應用，大資料應用簡單的說有兩個方面，一方面是給人用的，另一方面是給智慧體用的。大資料給人用的方面比較好理解，比如資料分析的結果透過各種呈現方式呈現出來，可以是靜態的圖表，也可以是動態的呈現方式。大資料另一個重要的應用是應用於人工智慧領域，目前人工智慧領域的研究（一部分）正在轉換到以大資料為基礎進行落地研發，因為大資料與人工智慧的關係非常密切，可以說大資料是人工智慧的基礎，比如在機器學習領域就需要大量的場景資料對智慧體進行訓練，資料從某種程度上決定了智慧體的智慧程度。

目前大資料的研發也正在從基礎的大資料底層研發向大資料應用領域過渡，大資料與人工智慧的結合也越來越緊密，相關的大資料人才在未來大資料的應用領域將扮演重要的角色，發展機遇也不僅僅在大資料領域，在物聯網、人工智慧、雲計算、區塊鏈等領域都有廣闊的發展空間。

隨著大資料浪潮的到來，資料的價值也越來越得到了認可。美國麥肯錫全球研究院釋出的研究報告《大資料:下一個創新、競爭和生產力的前沿》，指出“大資料時代已經到來”，資料正成為與物質資產和人力資本相提並論的重要生產要素，是企業的重要資產。

那大資料究竟有多少價值?又怎麼來體現價值?

大資料的範圍比較廣，可以是一個有限的集合，比如政府、企業所掌握的私有的資料庫，也可以是一個無限的集合，比如社交網站、部落格、論壇等等上面的資訊。大資料技術就是從各種各樣的，大量的資料中，快速獲得有價值資訊的技術，包括資料採集、儲存、管理、分析挖掘、視覺化等等。大資料(技術)的價值，可從以下兩方面來看：

從能力層面看

從大資料的能力角度，主要有資料的儲存、處理、查詢三個方面：

1、資料儲存能力

資料的儲存問題，一直困擾著資訊系統的建設。資料量小的時候，可能不會成為一個關注的問題，畢竟儲存介質也是符合摩爾定律的，價格月來月低，容量越來越大。但是對於超大量的資料，高昂的資料儲存成本，也是低價值密度資料被拋棄的原因。隨著技術的驅動，分散式叢集、x86的發展，hadoop技術的逐漸成熟，給大資料的儲存提供了生存的空間。大資料技術的推動，使資料得以儲存下來，具備了大資料的儲存能力，為資料價值的發揮，奠定了堅實的基礎。

2、資料處理能力

資料儲存下來，就能發揮價值嗎?遠遠不是。以前效率低下的、高成本的資料處理能力，是阻礙資料價值發揮的重要因素。不能在有效時間內對資料進行處理，資料就沒有意義了。大資料技術的發展，大規模分佈處理技術、spark記憶體技術的成熟，使資料能夠有效處理，有了真正發揮價值的空間。 資料查詢能力

資料處理能力的提升，能夠有效處理資料，縮小資料的規模，使資料價值得以發揮。但是對於需要直接對超大量資料進行查詢，傳統的很多儲存系統是無法支撐的。Nosql技術、spark等大資料新技術、新框架的出現，使大資料能夠直接進行查詢，有效支撐業務的發展。資料查詢能力的提升，進一步加速了資料價值的體現。

從價值體現層面看

大資料有能力儲存了，也能夠處理、查詢了，但資料的價值，歸根到底只有使用，才能把資料的價值發揮出來。從資料的使用方式，資料一般可以分為以下兩種：

對內：對企業發展進行決策支撐，幫助企業更高效制定策略;支援一線營銷管理工作，支援對目標客戶進行精準營銷，拓展業務。

對外：開拓資料的長尾效應，對資料進行整合、能力抽取，與合作伙伴進行合作，提供資料、能力，發揮資料外在價值。 大資料，將會成為推動人類社會發展的“新石油”，大資料的使用將成為未來提高競爭力的關鍵要素。客觀認識和發揮大資料的作用，不誇大、不縮小，是準確認知和應用大資料的前提。可以預見的未來是，大資料就在你我身邊，不論你是否察覺，它都回變成你生活的一部分。

大資料時代挑戰與機遇並存，正確處理好大資料，絕對是符合行業、企業利益的。只有更好的發揮資料價值，才能在大資料時代更好、更快的提高行業和企業的競爭力，引領企業前行。

—近300位付費研習社社友遍佈上海、北京、深圳蘇州、杭州、武漢、蕪湖等工業重鎮，初步構建起覆蓋工業網際網路平臺、工業軟體、底層資料採集、工業資料分析、系統整合商、大學及產業資金在內的全國價值網路。

大資料的核心是資料價值化，資料價值化體現在資料分析和應用兩個主要方面，下面對這兩個方面內容做一個簡單的描述。