什麼是大資料

說起大資料，估計大家都覺得只聽過概念，但是具體是什麼東西，怎麼定義，沒有一個標準的東西，因為在我們的印象中好像很多公司都叫大資料公司，業務形態則有幾百種，感覺不是很好理解，所以我建議還是從字面上來理解大資料，在維克托邁爾-舍恩伯格及肯尼斯庫克耶編寫的《大資料時代》提到了大資料的4個特徵：

一個是數量大

一個是價值大

一個是速度快

一個是多樣性

第一個是數量比較大，只有資料體量達到了PB級別以上，才能被稱為大資料。1PB等於1024TB，1TB等於1024G，那麼1PB等於1024*1024個G的資料。

第二個是價值大，你如果有1PB以上的全國所有20-35年輕人的上網資料的時候，那麼它自然就有了商業價值，比如透過分析這些資料，我們就知道這些人的愛好，進而指導產品的發展方向等等。如果有了全國幾百萬病人的資料，根據這些資料進行分析就能預測疾病的發生，這些都是大資料的價值。

第三個就是多樣性，如果只有單一的資料，那麼這些資料就沒有了價值，比如只有單一的個人資料，或者單一的使用者提交資料，這些資料還不能稱為大資料，所以說大資料還需要是多樣性的，比如當前的上網使用者中，年齡，學歷，愛好，性格等等每個人的特徵都不一樣，這個也就是大資料的多樣性，當然瞭如果擴充套件到全國，那麼資料的多樣性會更強，每個地區，每個時間段，都會存在各種各樣的資料多樣性。

第四個是速度快，就是透過演算法對資料的邏輯處理速度非常快，1秒定律，可從各種型別的資料中快速獲得高價值的資訊，這一點也是和傳統的資料探勘技術有著本質的不同。

大資料的行業應用

大資料無處不在，大資料應用於各個行業，包括金融、汽車、餐飲、電信、能源、體能和娛樂等在內的社會各行各業都已經融入了大資料的印跡。

製造業，利用工業大資料提升製造業水平，包括產品故障診斷與預測、分析工藝流程、改進生產工藝，最佳化生產過程能耗、工業供應鏈分析與最佳化、生產計劃與排程。

金融行業，大資料在高頻交易、社交情緒分析和信貸風險分析三大金融創新領域發揮重大作用。

汽車行業，利用大資料和物聯網技術的無人駕駛汽車，在不遠的未來將走入我們的日常生活。

網際網路行業，藉助於大資料技術，可以分析客戶行為，進行商品推薦和針對性廣告投放。

電信行業，利用大資料技術實現客戶離網分析，及時掌握客戶離網傾向，出臺客戶挽留措施。

能源行業，隨著智慧電網的發展，電力公司可以掌握海量的使用者用電資訊，利用大資料技術分析使用者用電模式，可以改進電網執行，合理設計電力需求響應系統，確保電網執行安全。

物流行業，利用大資料最佳化物流網路，提高物流效率，降低物流成本。

城市管理，可以利用大資料實現智慧交通、環保監測、城市規劃和智慧安防。

體育娛樂，大資料可以幫助我們訓練球隊，決定投拍哪種題財的影視作品，以及預測比賽結果。

安全領域，政府可以利用大資料技術構建起強大的國家安全保障體系，企業可以利用大資料抵禦網路攻擊，警察可以藉助大資料來預防犯罪。

個人生活， 大資料還可以應用於個人生活，利用與每個人相關聯的“個人大資料”，分析個人生活行為習慣，為其提供更加周到的個性化服務。

大資料的價值，遠遠不止於此，大資料對各行各業的滲透，大大推動了社會生產和生活，未來必將產生重大而深遠的影響。

大資料使用的技術

說起大資料，大資料有三個層資料採集、儲存、計算三層。

第一個是資料採集層，以App、saas為代表的服務。

大資料基礎階段需掌握的技術有：Linux、Docker、KVM、MySQL基礎、Oracle基礎、MongoDB、redis以及hadoopmapreduce hdfs yarn等。

第二個資料儲存層，比如雲儲存，需掌握的技術有：hbase、hive、sqoop等。

比如：Hadoop作為一個開源的框架，專為離線和大規模資料分析而設計，HDFS作為其核心的儲存引擎，已被廣泛用於資料儲存。HBase，是一個分散式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是資料儲存、NoSQL資料庫。

HBase是一種Key/Value系統，部署在hdfs上，克服了hdfs在隨機讀寫這個方面的缺點，與hadoop一樣，Hbase目標主要依靠橫向擴充套件，透過不斷增加廉價的商用伺服器，來增加計算和儲存能力。

第三個是資料計算應用層，以資料為基礎，為將來的移動社交、交通、教育，金融進行服務，涉及到大資料架構設計階段需掌握的技術有：Flume分散式、Zookeeper、Kafka等，以及大資料實時計算階段需掌握的技術有：Mahout、Spark、storm。

技術融合、資料合規、應用深化和資產管理是2019大資料發展的關鍵詞。

2019年以來，全球大資料技術、產業、應用等多方面的發展呈現了新的趨勢，也正在進入新的階段。當前，大資料技術呈現出六大融合趨勢：

(一)算力融合：多樣性算力提升整體效率

(二)流批融合：平衡計算價效比的最優解

(三)TA 融合：混合事務/分析支撐即時決策

(四)模組融合：一站式資料能力複用平臺

(五)雲數融合：雲化趨勢降低技術使用門檻

(六)數智融合：資料與智慧多方位深度整合

近兩年來，各國在資料合規性方面的重視程度越來越高，但資料合規的程序仍任重道遠。2019年5月25日，旨在保護歐盟公民的個人資料、對企業的資料處理提出了嚴格要求的《通用資料保護條例》。

歐盟EDPB的報告顯示，GDPR實施一年以來，歐盟當局收到了約145000份資料安全相關的投訴和問題舉報;共判處5500萬歐元行政罰款。蘋果、微軟、Twitter、WhatsApp、Instagram等企業也都遭到調查或處罰。GDPR的正式實施之後，帶來了全球隱私保護立法的熱潮，併成功提升了社會各領域對於資料保護的重視。

中國大資料的行業應用更加廣泛，正加速滲透到經濟社會的方方面面。這幾年，無論是從新增企業數量、融資規模還是應用熱度來說，與大資料結合緊密的行業逐步向工 業、政務、電信、交通、金融、醫療、教育等領域廣泛滲透，應用逐漸向生產、物流、供應鏈等核心業務延伸，湧現了一批大資料典型應用，企業應用大資料的能力逐漸增強。

最後，圍繞技術、應用、治理三個方面對大資料發展進行了展望：技術方面，我們仍然處在“資料大爆發”的初期，隨著5G、工業網際網路的深入發展，將帶來更大的“資料洪流”，這就為大資料的儲存、分析、管理帶來更大的挑戰，牽引大資料技術再上新的臺階。硬體與軟體的融合、資料與智慧的融合將帶動大資料技術向異構多模、超大容量、超低時延等方向拓展。

應用方面，大資料行業應用正在從消費端向生產端延伸，從感知型應用向預測型、決策型應用發展。當前，網際網路行業已經全面進入“DT時代”。未來幾年，隨著各地政務大資料平臺和大型企業資料中臺的建成，將促進政務、民生與實體經濟領域的大資料應用再上新的臺階。

治理方面，隨著國家資料安全法律制度的不斷完善，各行業的資料治理也將深入推進。資料的採集、使用、共享等環節的亂象得到遏制，資料的安全管理成為各行各業自覺遵守的底線，資料流通與應用的合規性將大幅提升，健康、可持續的大資料發展環境逐步形成。

目前物聯技術分為虛擬或者半虛擬和實體模擬三種。

從我們實際生產中，網際網路公司要數騰訊，阿里巴巴，各大銀行都是在使用物聯網資料技術，包括最近熱搜話題ETC，還有智慧小區等，均需要經過識別後系統才反饋出結果，大資料鏈接他們是比較先進的系統，自主研發。

首先給大家瞭解幾點，請檢視以下內容。

基於智慧感知技術及大資料探勘技術的智慧決策體系、WMS/ERP/CRM/SRM資訊協同平臺人工表格

基礎進銷存軟體

效率、透明、安全

現階段物流管理存在的問題

隨著企業供應鏈規模的進一步擴張，規模效應逐步釋放帶來了效率、交期、成本、管理難度等問題，物流成本上升、交貨週期拉長、物流和生產效率降低。

以家電行業為例：

企業進行新增-增加- 增加 -增加，新產品、供應商、物料、供應鏈規模管理。

出入庫人工作業效率低下，業務操作繁瑣易出錯

訂單及零部件/產品批次資訊以紙質單據形式儲存，大量人力投入到資源核對、條碼掃描、資訊上傳、手工盤點、運載工具排程等事務中，使得效率降低

物流協同建設難，資訊透明度和應急機制有限

實物流與資訊流不同步，SRM、ERP、WMS間資料鏈路不順暢

物流環節無法往供應商端延伸，採購程序及到貨時間不可控，影響倉庫、裝置及人力配置的統籌規劃與執行，停線停產風險高

現場管理與排程多依靠人力，成本高

載具流轉過程中的丟失、毀損現象嚴重，盤點與管理需要大量人工操作，且追責難

叉車任務分配與排程依靠人工，缺少更便捷的機制

現場的識別、查詢、盤點 以及紙質單據的製作與歸檔管理耗人耗時

二、RFID介紹

RFID技術介紹

工作原理描述：

標籤進入磁場後，接收讀寫器發出的射頻訊號，憑藉感應電流所獲得的能量傳送出儲存在晶片中的資料資訊（無源標籤），讀寫器讀取資訊並解碼後，送至控制系統進行有關資料處理。

RFID在物流解決方案中的應用，智慧物流全過程

金融：風控，反欺詐，智慧投顧

網際網路：精準推送，智慧推薦

交通出行：位置大資料

AI：深度學習

就我個人認為目前大資料技術應用的最多，最好最成熟的應該是以下幾類：

目前我們進入車站等場所，都需要進行刷臉與身份核查，透過人臉識別與對資料比對，如果遇到“可疑人員”與某些有特殊標記人員，相關部門都會第一時間知道。在公共安全方面，保障了我們每一個人的安全出行需求。

說起天眼系統大家應該都比較熟悉，利用街頭巷尾的各種攝像頭，一方面可以遏制犯罪，一方面可以震懾有企圖的人員，同樣利用人臉識別，可以即時反饋“可疑”與特殊標記的人員，在某些時候，還可以完整的還原作案過程。對於我們在公共場所的安全，提供了有力的保障。

目前來說，我們使用最多的就是移動支付，而在移動支付領域，刷臉支付雖然起步較晚，但是確實是針對傳統支付的一個大的創新，其擁有著刷臉即走，快捷支付，提高了相關收銀場所的效率，為人們購物消費提供了方便快捷安全的解決方案。目前做的比較好的是支付寶的刷臉支付與微信的刷臉支付。

作為一名IT行業的從業者，同時也是一名計算機專業的教育工作者，我來回答一下這個問題。

首先，隨著大資料技術體系的成熟，目前大資料正處在落地應用的初期，未來大量的傳統行業都將得到大資料的賦能，同時大資料技術也將為傳統行業開啟新的價值空間，從而促進傳統行業的創新和發展。所以，對於當前的傳統行業來說，要想抓住產業網際網路時代的發展紅利，一定要注重大資料技術的運用。

從目前大資料技術的應用情況來看，網際網路、金融、諮詢、醫療、教育、出行等領域有比較多的大資料應用案例，其中網際網路行業對於大資料的應用已經比較普遍了，不僅在產品研發的過程中會使用到大資料技術，在公司運營等方面也全面開始採用了大資料技術。

大資料技術的運用需要一個完善的環境支撐，這其中比較重要的內容有三個方面，其一是要有資料採集能力，由於網際網路行業的資料採集能力非常強，所以這是網際網路行業的一個天然優勢；其二是要有資料價值化能力，資料價值化是大資料技術的最終目的之一，目前資料分析是大資料價值化的主要方式；其三是要有應用場景，應用場景可以看成是大資料應用的出口，這往往也是大資料最終的目的。

對於網際網路行業來說，資料本身就意味著價值，但是要想讓這些資料真正轉換成價值，就需要大資料技術的幫助。對於網際網路行業來說，運用大資料最終的目的之一就是與使用者建立價值化的“連結”，透過這些“連結”來完成各種價值增量的操作。

我認為大資料的應用領域主要有提供個性化的服務，在醫療方面和衛生方面的改善和金融，交通，物流，零售方面用到大資料的應用比較多。主要用到大資料對使用者和客戶的深刻了解和定位上，從某種意義上可以說是優化了業務的流程。

大資料在金融方面的應用也是很多的，金融的創新和大資料也是息息相關的，比如中國的金融業需要良好的資料分析是當今金融市場創新的關鍵，資本管理，交易執行，大多數股票交易也是透過一定的演算法模型進行的。

大資料在醫療方面的作用也是比較大的，比如說可以用來檢測出生的幼兒和有患病孩子的情況，透過分析孩子的呼吸情況，提前預測孩子的身體症狀，可以更好的為孩子的健康服務。同樣可以透過對相關資料的採集和分析，可以預測疾病和傳染病的暴發時期，從而更好的為人類的健康保駕護航。

此外在交通，物流，零售方面應用的也是很多的。這些都是利用大資料對客戶的瞭解和定位進行的，也可以越來越多的應用於最佳化業務流程方面，比如透過定位和識別來對交通車輛，從而制定更加合理的路線。

網際網路WebGL三維視覺化技術在交通監控管理系統中的應用場景。

如交通體系決策支援系統，透過視覺化技術結合大資料分析，利用三維模型展示當前交通資料分析結果及未來交通態勢發展分析模型的預測，3D場景案例如下，更多在官網案例中心獲取~

交通路段內三維場景瀏覽

三維裝置模型視覺化與資料互動

交通路段輔助設施、裝置健康管理

內場機房設施裝置維護

交通路段突發應急事件演練