社會的需求永遠是技術發展的動力，大資料技術也是如此。所謂大資料技術，就是處理“海量資料”的技術。它是在人們不斷解決“數字化資訊問題”“海量資訊問題”“非結構海量資訊問題”等社會需求中逐漸產生髮展起來的，大體上可分為3個階段：大資料技術前期、大資料技術形成期和大資料技術突破期。

從20世紀50年代到90年代初，隨著1946年第一臺數位電子計算機ENIAC的誕生和發展，人們開始普遍使用二進位制中“0”和“1”兩個數字來表達資訊，採用電子線路來執行算數運算、邏輯運算和儲存資訊。大量用“0”或“1”代表的訊號反過來又產生龐大快速的資料流，由此導致了涉及數字的轉換、存取、處理、控制等一系列高技術的發展，如微電子技術、光電傳輸技術、數字壓縮和編碼技術、多媒體資料庫技術等。1971年，英特爾公司生產出了世界上第一個微處理器晶片4004，人類第一次將高智慧賦予無生命的裝置，這是人工智慧和計算處理歷史上的重要轉折點。它的誕生使微處理器打破了由大型中央處理器一統天下的局面，從而將計算機帶到辦公室的桌子上。微處理器的發明發展，使得數字轉化的速度、效率和範圍大大提高，讓計算機技術應用無處不在。20世紀70年代中期，曾有人對計算機的各種應用做過統計，列出了6 000多種應用，在這些應用中，直接對人類產生最大影響的就是資料庫技術的應用。資料庫技術是資料處理和資訊管理系統的核心技術，主要透過研究資料庫的結構、儲存、設計、管理以及應用的基本理論方法，來實現對資料庫資料進行處理、分析和理解的技術。其中，資料模型是資料庫系統的核心和基礎。計算機技術、數字化技術、資料庫技術等共同構建了大資料的技術基礎。

從20世紀90年代至21世紀初，隨著資訊數字化能力和資料庫技術的不斷髮展，人們開始思考如何解決大資料的“資料豐富而資訊貧乏”的問題，於是資料探勘技術應運而生。1989年8月，在美國底特律召開的第11屆國際聯合人工智慧學術會議上，資料探勘 （Data　Mining，也稱Knowledge　Discovery　in　Database，簡稱KDD）概念被正式提出。從1995年開始，一年一度的KDD國際學術會議讓“資料探勘”一詞逐漸在學術圈流行。資料探勘指的是從資料庫的大量資料中揭示出隱含的、先前未知的、潛在有用資訊的過程。主要的技術方法有面向資料庫或資料倉庫的技術、機器學習、統計學、視覺化、模式識別、神經網路、模糊集、粗糙集、遺傳演算法、決策樹、最近鄰技術等。複雜的資料探勘系統通常採用多種資料探勘技術。隨著資料探勘理論和資料庫技術的逐步成熟，一批商業智慧工具和知識管理技術開始被應用，如資料倉庫、專家系統、知識管理系統等。此時，人們對大資料技術研究主要集中在“演算法”（Algorithms）、“模型”（Model）、“模式”（Patterns）、“識別”（Identification）等問題上，大資料技術開始形成並不斷髮展，人類處理海量資訊的能力得到大幅度提升。

隨著計算機、網際網路和數字媒體進一步普及，以文字、圖形、影象、音訊、影片等非結構化資料為主的資訊急劇增加，特別是以2004年Facebook創立為標誌的社交網路的流行，直接導致了大量非結構化資料的湧現，使得傳統的處理資料和海量資料的資料庫技術難以應對。如何儲存、查詢、分析、挖掘和利用這些非結構化資料資訊成為社會的又一個重大難題。為應對這一挑戰，人們開始對資料處理系統和資料庫架構進行重新審視，這就出現了各種非結構化資料處理技術，如基於NoSQL的非結構化資料管理系統、網路代價估算、多種支援模式演化等。2009年，谷歌公司軟體工程師傑夫?迪恩（Jeff　Dean）在BigTable基礎上開發了全球首個分散式資料庫Spanner，標誌著“雲計算”（Cloud Computing）、“大規模資料集並行運算演算法”（MapReduce）、“開源分散式系統基礎架構”（Hadoop）等大資料前沿技術理論開始走向成熟，並行運算與分散式系統成為當前大資料處理的主要技術方法並得到廣泛應用。

大資料是有馬雲率先提出的一個概念，他在各地的演講中也多次提到大資料大資料雲計算。當時是由阿里做的統計，如哪裡的人賣什麼東西最多，哪裡的消費水平高等等。阿里為他這個資料的統計叫做大資料，這就是大資料的由來。發展階段相信大家都有體會，幾乎什麼東西都依靠大資料的發展。

回答這個問題之前，我先簡單的說明一下，大資料的重要性和適用性。

首先，中國的大資料基礎並不好，後來想透過管理，把複雜的事情簡單化，標準化，從而產生大資料時代。

至於發展和應用，主要體現在三個方面：

第一：儲存。利用大資料管理，可以有效的降低各方面的成本。

第二：計算。我們應該知道，大資料時代的計算速度很重要，而提高速度正是大資料發展中產生的必然結果。

第三：智慧。這一點大家都不陌生，各大行業都在爭相應用，這也是人類發展大資料最終面臨解決好的問題，人類對智慧的渴望，不緊體現在自已身上，同時也想讓機器擁有人的智慧，從而實現解放人腦的過度勞動。

綜上所講，人類發展大資料是這個時代的必然產物，惠及子孫後代。

近年來，中國大資料產業從無到有，全國各地發展大資料積極性較高，行業應用得到快速推廣，市場規模增速明顯。2017年中國包括大資料核心軟硬體產品和大資料服務在內的市場規模將超過2600億元，與2016年相比，增長了49%。2017年1月，工信部發布了《大資料產業發展規劃2016-2020年》，進一步明確了促進中國大資料產業發展的主要任務、重大工程和保障措施。國家政策的接連出臺為推動大資料產業快速成長提供了良好的發展環境，未來2-3年市場規模的增長率將保持在50%左右。預計2020年，中國大資料市場規模將超過8000億元，預計未來中國將成為全球資料中心。

圖1中國大資料市場規模

（二）大資料投融資持續升溫

持續升溫的大資料創業潮，激發著國內大資料公司的“生產熱情”，大資料持續被國內資本市場看好。自2011年以來，大資料領域成功融資的企業數量逐年增加，2014年進入快速上升階段，環比增長176.47%，2014年以來持續穩步增長，2016年獲得融資的企業數量達到221多家。據統計，截至2017年8月初，大資料領域有183家企業獲得融資，大資料領域持續獲得資本市場的高度青睞。

圖2中國大資料產業投融資情況

2017年，全球優秀大資料創業企業頻頻傳出融資訊息，其中，商業化服務支援初創公司Confluent拿下5000萬美元投資，資料管理公司Collibra的C輪融資額達到5000萬美元。

圖3 2017年1-8月全球大資料投融資情況

（三）大資料應用領域不斷豐富

從國內投融資領域的分佈來看，2017年1-8月的183家融資企業中，大資料行業應用方面共發生了81起投融資事件，其中，金融行業投融資事件最多為35起，醫療健康其次為12起投資事件。

圖4中國2017年1-8月大資料行業應用投融資情況

大資料產業具備了良好基礎，面臨難得的發展機遇，但仍然存在一些困難和問題。一是資料資源開放共享程度低。資料質量不高，資料資源流通不暢，管理能力弱，資料價值難以被有效挖掘利用。二是技術創新與支撐能力不強。在新型計算平臺、分散式計算架構、大資料處理、分析和呈現方面與國外仍存在較大差距，對開源技術和相關生態系統影響力弱。三是大資料應用水平不高。雖然大資料具有強勁的應用市場優勢，但是目前還存在應用領域不廣泛、應用程度不深、認識不到位等問題。四是大資料安全體系不健全。資料所有權、隱私權等相關法律法規和資訊保安、開放共享等標準規範不健全，尚未建立起兼顧安全與發展的資料開放、管理和資訊保安保障體系。五是人才隊伍建設亟需加強。大資料基礎研究、產品研發和業務應用等各類人才短缺，難以滿足發展需要。

展望2018年，大資料產業發展將迎來“黃金期”，產業集聚將進一步特色化發展，創新驅動仍將是產業發展主基調，大資料融合應用程序加速，為做大做強數字經濟、帶動傳統產業轉型升級提供新動力。

二、中國大資料創新Top100發展預測

（一）政策影響趨勢

隨著國家大資料戰略推進實施以及配套政策的貫徹落實，大資料產業發展環境將進一步最佳化，社會經濟各領域對大資料服務需求將進一步增強，大資料的新技術、新業態、新模式將不斷湧現，產業規模將繼續保持高速增長態勢。

（二）技術影響趨勢

大資料的技術發展與物聯網、雲計算、人工智慧等新技術領域的聯絡將更加緊密，物聯網的發展將極大提高資料的獲取能力，雲計算與人工智慧將深度融入資料分析體系，融合創新將會不斷地湧現和持續深入。

（三）人才影響趨勢

隨著2017年教育部公佈第二批獲准開設“資料科學與大資料技術”的高校名單，加上第一批獲批高校獲批開設該專業。今年開始，大資料需要的複合型人才將源源不斷形成。加之海外和傳統行業跨界人才不斷加入大資料行業，大資料產業將迎來創新發展。

（四）資本影響趨勢

近年來，伴隨著資本大量進入大資料行業，出現了創業公司估值過高的現象。泡沫期的大資料行業，許多企業的發展遠遠無法迴歸企業的本質，導致創業企業供給與市場需求之間脫節。隨著資本的沉沒，理性資本將引領大資料行業健康發展。一些在資本熱潮褪去之後還能沿正常軌道發展的企業將佔據新一輪的資本優勢，得到進一步的發展和壯大。