大資料的型別大致可分為三類：

傳統企業資料(Traditional enterprise data)：包括 CRM

systems的消費者資料，傳統的ERP資料，庫存資料以及賬目資料等。

機器和感測器資料(Machine-generated /sensor data)：包括呼叫記錄(Call Detail

Records)，智慧儀表，工業裝置感測器，裝置日誌(通常是Digital exhaust)，交易資料等。

社交資料(Social data)：包括使用者行為記錄，反饋資料等。如Twitter，Facebook這樣的社交媒體平臺。

大資料分享：Redis 的9種基本資料型別

https://www.toutiao.com/i6789413483646550532/

大資料包括哪些內容？

大資料技術包括資料收集、資料存取、基礎架構、資料處理、統計分析、資料探勘、模型預測、結果呈現。

1、資料收集：在大資料的生命週期中，資料採集處於第一個環節。根據MapReduce產生資料的應用系統分類，大資料的採集主要有4種來源：管理資訊系統、Web資訊系統、物理資訊系統、科學實驗系統。

2、資料存取：大資料的存去採用不同的技術路線，大致可以分為3類。第1類主要面對的是大規模的結構化資料。第2類主要面對的是半結構化和非結構化資料。第3類面對的是結構化和非結構化混合的大資料。

3、基礎架構：雲端儲存、分散式檔案儲存等。

4、資料處理：對於採集到的不同的資料集，可能存在不同的結構和模式，如檔案、XML 樹、關係表等，表現為資料的異構性。對多個異構的資料集，需要做進一步整合處理或整合處理，將來自不同資料集的資料收集、整理、清洗、轉換後，生成到一個新的資料集，為後續查詢和分析處理提供統一的資料檢視。

5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、迴歸分析、簡單迴歸分析、多元迴歸分析、逐步迴歸、迴歸預測與殘差分析、嶺迴歸、logistic迴歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。

6、資料探勘：目前，還需要改進已有資料探勘和機器學習技術；開發資料網路挖掘、特異群組挖掘、圖挖掘等新型資料探勘技術；突破基於物件的資料連線、相似性連線等大資料融合技術；突破使用者興趣分析、網路行為分析、情感語義分析等面向領域的大資料探勘技術。

7、模型預測：預測模型、機器學習、建模模擬。

8、結果呈現：雲計算、標籤雲、關係圖等。

大資料顧名思義就是海量的資料堆在一起，就現成了大資料，大資料分實時時間和歷史資料，大資料又分it資料，ot資料，影片時間，影象資料，時空資料等多型別資料，大資料的目的就是實現更智慧，更智慧。大資料不去挖掘分析就是一堆無用的資料，所以就必須各種行業應用專家去建模，去分析挖掘。因此在大資料面前，行業專家最吃香，碼農一抓一大把，模型專家有幾個。對於企業大資料分析挖掘可以為企業提高效率，提高品質，降低成本等等若干優點，越是規模大的企業，大資料探勘價值越大，給你舉2個例子，一個就是九江某石化公司，沒有進行大資料探勘最佳化前年年虧損，挖掘最佳化後，他的效率提高了，他的品質提供了，現在每年盈利20多個億，在石化行業，產品分多個品質，提高几個百分點就是另外一個品質，價格差異很大，這些企業產量相當驚人，上升1個百分點都很厲害。再舉個例子，滴滴最佳化分配問題，因為他們一段時間內產生資料量太大，沒有最佳化前，為了解決實時性問題，用了幾百萬硬體堆疊，用硬體解決效能問題，最佳化後，一臺筆記本解決，所以學好數學還是很關鍵的。

大資料本身是一種現象而不是一種技術。大資料技術是一系列使用非傳統的工具來對大量的結構化、半結構化和非結構化資料進行處理，從而獲得分析和預測結果的資料處理技術。大資料價值的完整體現需要多種技術的協同。大資料關鍵技術涵蓋資料儲存、處理、應用等多方面的技術，根據大資料的處理過程，可將其分為大資料採集、大資料預處理、大資料儲存及管理、大資料處理、大資料分析及挖掘、大資料展示等。

大資料採集技術

大資料採集技術是指透過 RFID 資料、感測器資料、社交網路互動資料及移動網際網路資料等方式獲得各種型別的結構化、半結構化及非結構化的海量資料。因為資料來源多種多樣，資料量大，產生速度快，所以大資料採集技術也面臨著許多技術挑戰，必須保證資料採集的可靠性和高效性，還要避免重複資料。大資料的資料來源主要有運營資料庫、社交網路和感知裝置 3 大類。針對不同的資料來源，所採用的資料採集方法也不相同。《大資料採集技術概述》教程中會對大資料採集技術做詳細介紹。

大資料預處理技術

大資料預處理技術主要是指完成對已接收資料的辨析、抽取、清洗、填補、平滑、合併、規格化及檢查一致性等操作。因獲取的資料可能具有多種結構和型別，資料抽取的主要目的是將這些複雜的資料轉化為單一的或者便於處理的結構，以達到快速分析處理的目的。通常資料預處理包含 3 個部分：資料清理、資料整合和變換及資料規約。

大資料儲存及管理技術

大資料儲存及管理的主要目的是用儲存器把採集到的資料儲存起來，建立相應的資料庫，並進行管理和呼叫。在大資料時代，從多渠道獲得的原始資料常常缺乏一致性，資料結構混雜,並且資料不斷增長，這造成了單機系統的效能不斷下降，即使不斷提升硬體配置也難以跟上資料增長的速度。這導致傳統的處理和儲存技術失去可行性。大資料儲存及管理技術重點研究複雜結構化、半結構化和非結構化大資料管理與處理技術,解決大資料的可儲存、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。具體來講需要解決以下幾個問題：海量檔案的儲存與管理，海量小檔案的儲存、索引和管理，海量大檔案的分塊與儲存，系統可擴充套件性與可靠性。面對海量的 Web 資料，為了滿足大資料的儲存和管理，Google 自行研發了一系列大資料技術和工具用於內部各種大資料應用，並將這些技術以論文的形式逐步公開，從而使得以 GFS、MapReduce、BigTable 為代表的一系列大資料處理技術被廣泛瞭解並得到應用，同時還催生出以 Hadoop 為代表的一系列大資料開源工具。從功能上劃分，這些工具可以分為分散式檔案系統、NoSQL 資料庫系統和資料倉庫系統。這 3 類系統分別用來儲存和管理非結構化、半結構化和結構化資料，如圖 1 所示。

圖 1 典型大資料儲存與管理系統及其分類

《Hadoop HDFS分散式檔案系統》教程和《NoSQL非關係型資料庫》教程分別對分散式檔案系統和 NoSQL 資料庫系統進行詳細介紹。

大資料處理

大資料的應用型別很多，主要的處理模式可以分為流處理模式和批處理模式兩種。批處理是先儲存後處理，而流處理則是直接處理。

獲取免費學習資源請登陸北京尚學堂官網大資料專業

大資料是我的主要研究方向之一，目前也在帶大資料方向的研究生，所以我來回答一下這個問題。

首先，大資料涵蓋的內容主要以資料價值化為核心的一系列操作，包括資料的採集、整理、傳輸、儲存、安全、分析、呈現和應用。隨著5G的落地應用以及物聯網技術的發展，未來更多的資源將逐漸實現資料化，所以大資料能夠涵蓋的內容也會越來越豐富，自身所能夠體現的價值也會逐漸提升。

大資料技術龐大複雜，基礎的技術包含資料的採集、資料預處理、分散式儲存、NoSQL資料庫、資料倉庫、機器學習、平行計算、視覺化等各種技術範疇和不同的技術層面。 大資料主要技術元件：Hadoop、HBase、kafka、Hive、MongoDB、Redis、Spark 、Storm、Flink等。 大資料技術包括資料採集，資料管理，資料分析，資料視覺化，資料安全等。資料的採集包括感測器採集，系統日誌採集以及網路爬蟲等。資料管理包括傳統的資料庫技術，nosql技術，以及對於針對大規模資料的大資料平臺，例如hadoop，spark，storm等。資料分析的核心是機器學習，當然也包括深度學習和強化學習，以及自然語言處理，圖與網路分析等。

大資料其實是一個概念，本人有幸和香港大資料專家瞭解過這個專題

在目前大資料其實歸根到底就是一堆海量，龐大的原始資料，注意是海量，如果達不到海量，那就說不上是大資料。

大資料，毫不誇大的說，能從你日常的生活資料，分析出來你的個人資訊。

題主所說的大資料包括那些，其實基本你從網上看到的都是都是資料，關鍵是在於你對這些資料的理解，分析，運用。

目前，我瞭解到的大資料運用，最高級別就是大資料與人工智慧了，目前網際網路大佬們，都有對這領域進行研究，比喻，騰訊，阿里，都有相關的大資料產品，其中淘寶應該是我們接觸最多的吧。

在未來，大資料運用將會是網際網路中的常態，而大資料學習難度相對較高，起碼起碼是要學會程式設計，還有基本的數學公式，統計學等。

大資料就業方向也分為技術類和非技術類，

技術類需要系統的學習程式設計，數學，統計學等，而非技術類，相對來說只要學習基礎知識就夠了。

大資料有多可怕，之前有一個新聞，就是阿爾法狗打敗了世界上各大圍棋高手，阿爾法狗，是積累了龐大的資料，分析了大量的棋譜，簡單的說，就是透過計算對手的步驟，透過機率學，最終戰勝了各大高手，阿爾法狗是透過多年資料積累形成的一個人工智慧，接下來我所說的可怕之處是，阿爾法零，從無資料積累到打敗阿爾法狗，只用了三天，這個新聞出來沒多久就被蓋住了，可能是出於人們經常想的一個問題，人工智慧會不會比人更厲害之類的。

這兩種在大資料領域裡，分別叫 監督學習和無監督學習，大家想要了解的話，可以自行去查詢一下，我這裡就不多說了。

接下來，關於人工智慧會不會取代人類，這個是不可能的，因為人工智慧是基於資料分析，學習，從而得出結論或者答案，比如圍棋這種有規則，同時也有棋盤格數的限制下，按照資料來說，完全是一個數據量的問題，而人類的社會活動是沒有規則限制的。

但是，隨著科技發展，未來可能會對一些崗位進行衝擊，比如，工廠的人手，小區保安這些崗位，現在已經很多被人工智慧取締。

說著說著...跑到人工智慧去了，我算不算跑題了.....

以上的外行人的理解，希望有大資料大神補充

關於資料的名詞太多了，題主沒必要糾結這些東西。便於理解，我就說說資料分析有哪些崗位。

(也算是配了圖吧 = =)

第一個，一般的資料分析崗位。一般就是做一些報表，使用 Excel 的居多，以前厲害的也用 R 。不過由於 Python 的出現，慢慢的用 Python 的也多了。目的是指導簡單的運營等。

第二個，資料的後端方向。有時估計也叫資料研發之類的。主要工作是準備資料，不管你是自己的應用系統的，或是其它網站用爬蟲得到的，這個崗位的目的就是得到資料，基本要求就是你要有取資料的能力。舉個例子，爬蟲、資料倉庫管理等就屬於這個範疇。

第三個，資料的演算法方向，高深一點的崗位名稱就是資料探勘。主要工作是在已有的資料上，透過特定的演算法或者模型，得出一些結論或者趨勢。其實我們現在看到的電商網站的智慧推薦等就屬於這個範疇。要求就是對演算法的基礎比較好，現在所謂的人工智慧，也屬於挖掘中可能會使用到的工具而已。

第四個，資料產品(經理)。分為兩個方面，設計資料型產品，之前說的推薦系統可以說是一種，只不過與演算法要求不同，這個主要是從使用者的角度去考量。另一方面，就是根據前面提到的分析結果去最佳化產品。

而所謂的大資料，其實就是資料量變大了，獲取以及分析難度都加大了。比如資料後端，以前單機辦到的需要分散式了。

上面說的都是方向，你選擇方向了，才知道要去學些什麼東西。

以上。

大資料是指無法在一定時間內用常規軟體工具對其內容進行抓取、管理和處理的資料集合。大資料技術，是指從各種各樣型別的資料中，快速獲得有價值資訊的能力。適用於大資料的技術，包括大規模並行處理（MPP）資料庫，資料探勘電網，分散式檔案系統，分散式資料庫，雲計算平臺，網際網路，和可擴充套件的儲存系統。最主要的是大資料的大不僅僅指資料量巨大，更指資料量之間關係更復雜。

包括大規模並行處理（MPP）資料庫、資料探勘、分散式檔案系統、分散式資料庫、雲計算平臺、網際網路和可擴充套件的儲存系統。

大資料可以分為線上資料和線下資料。線上資料採集很容易，因為每一個上網的人都會留下行為軌跡，想要採集和分析線上資料是很輕鬆的，線下資料是到線下固定的場景去採集，再做資料計算和分析，寒武紀大資料致力於線下資料採集，資料清洗，精確找到適合廣告投放的人群，為企業節約成本

按照資料結構分類，可以分為結構化資料(表格），非結構化資料(影片，音訊，影象)，半結構化資料(如模型文件等)。

按照應用場景可以分為工業資料和消費資料兩大類，工業資料主要是指生產製造企業從研發設計，生產製造，經營管理，客戶服務等環節的資料。消費資料主要面向客戶或者需求，比如客戶喜好，客戶評價，市場分佈，倉儲率等

按照資料重要程度可以分為，髒資料，低質資料，高質資料以及核心資料，這個就需要結合企業業務需求自行界定

什麼是大資料技術，具體包括哪些內容？

答：我理解的大資料是指某一行業或某一領域內的資訊集合。是一個龐大的資料庫，可以透過對該資料庫的分析，來預見未來，指引方向。這就是大資料技術的作用。

大資料技術可以覆蓋生活的方方面面

吃穿住行用，都在利用大資料技術

比如你要買什麼東西，大資料會給你提供推薦，透過你之前的購買記錄和搜尋關鍵詞，預先判定適合你的產品，再推薦給你。

再比如你要出行。大資料會透過你的位置和終點，計算出最省時間的路線供你選擇。

等等，這樣的例子數不勝數。

大資料還可以進行風險管控，更好的保障人民安全。

業務分析模型方法論、多源資料採集、結構化非結構化資料清洗、主資料管理、資料質量管理、資料分析模型、大規模資料高效能計算處理資料平臺、資料多樣化互動展現技術

大資料產業鏈簡介

大資料產業：是指一切與大資料的產生與集聚、組織與管理、分析與發現、應用與服務相關的所有活動的集合。主要包括大資料硬體、大資料軟體和大資料應用三大塊。

◆ 大資料提供者

擁有資料的公司、個人、社會團體以及政府機構等，此類角色屬於大資料產業鏈上的基礎環節，包括資料來源提供者、資料流通平臺提供者和資料API提供者。目前中國大資料提供者包括政府管理部門、企業資料來源提供商、網際網路資料來源提供商、物聯網資料來源提供商、移動通訊資料來源提供商、提供資料流通平臺服務和資料API服務的第三方資料服務企業、社會團體或者個人等。

◆ 大資料產品提供者

提供直接應用於大資料產品的企業，包括提供大資料應用軟體、大資料基礎軟體、大資料相關硬體產品的企業。

大資料應用軟體產品提供者，包括提供整體解決方案的綜合技術服務商，也包括大資料計算基礎設施上（與雲結合），從簡單的檔案儲存的空間租售模式，逐步擴充套件到提供資料聚合平臺，進而擴充套件到為客戶提供分析業務的服務上。

大資料基礎軟體提供商，此類企業搭建大資料平臺、提供相關大資料技術支援、雲端儲存、資料安全等，此類公司在某些垂直行業或者區域掌握大資料入口與出口，並能對一些資料進行採集、整合和彙集。這樣的企業包括傳統的IT企業、裝置商以及新興的雲服務相關企業。

大資料相關硬體產品提供商，此類企業提供大資料採集、接入、儲存、傳輸、安全等硬體產品和裝置。

◆ 大資料服務提供者

以大資料為核心資源，以大資料應用為主業開展商業經營的企業。包括大資料應用服務提供者、大資料分析服務提供者、大資料基礎設施服務提供者。這類企業挖掘資料價值，處於大資料產業鏈的下游，它們透過發掘隱藏在大資料中的價值，不斷推動大資料產業鏈中各個環節的發展和成熟。從某種角度上說正是此類公司創造了大資料的真正價值，具體包括：

1）應用服務提供者，基於大資料技術，對外提供大資料服務。

2）分析服務提供者，提供技術服務支援、技術（方法、商業等）諮詢，或者為企業提供類似資料科學家的諮詢服務。

3）大資料基礎設施服務提供者，提供面向大資料技術和服務提供者的培訓、諮詢、推廣等的基礎類通用類的服務提供者。

在政策和技術的強力推動下，中國大資料行業得到了快速發展。從大資料行業的規模來看，2017年，中國大資料行業市場產值規模達4700億元，規模增速進一步提高至30.6%，預計到2020年中國大資料行業市場產值規模將突破1萬億元。

此外，大資料的核心部分——軟硬體產品市場規模增速更快。2017年，中國大資料軟硬體產品市場產值規模達234億元，同比增長了39.3%，預計到2020年，大資料核心產業市場規模將有望突破500億元。可見，中國大資料行業增長高速發展，行業未來上升空間巨大。

總體而言，大資料與其他實體經濟的融合發展是大勢所趨，目前仍處於融合初期，且存在明顯的區域不平衡特點。未來隨著大資料技術與行業的加速發展，大資料在其他行業的深入應用必將為大資料行業的發展創造更大的發展空間。

任意網址---多次訪問過您同行競價頁面，或金融貸款相關網站的使用者

任意號碼---撥打過某個貸款機構電話的使用者，撥打過您同行 400 電話、固話、或者手機的任意

APP---提取近期經常使用“某某貸借款”“某某普惠”等 APP 的使用者

任意關鍵詞---搜過“貸款利息多少錢”“哪裡可以貸款”等相關關鍵詞的使用者

任意簡訊---提取接收過下款通知等簡訊的使用者

地域---您可以要求只要某個 省、市、區 的使用者您

性別、年齡---可以要求只要 20-40 歲，男性使用者 ……

等等---還有更多的行為特徵可以自定義設定提取

伴隨5G，6G時代的來臨，大資料的應用迅速地發展起來，受到廣大使用者的密切關注，主要原因是大資料開發了新的價值領域，資料價值化，產業物聯網，雲計算等。新的價值領域孕育一系列生態，從而會誕生不同的商業需求，這一過程也會伴隨大量的創新，從而會產生大量的創新，創業專案。

現如今我們正處於大資料時代，你有必要了解大資料，在合適的時候可以學習大資料。下面來介紹一下大資料技術包含哪些：

資料採集：ETL工具負責將分佈的、異構資料來源中的資料如關係資料、平面資料檔案等抽取到臨時中間層後進行清洗、轉換、整合，後加載到資料倉庫或資料集市中，成為聯機分析處理、資料探勘的基礎。

資料處理：資料清理、資料整合、資料轉換、資料規約。

資料儲存：基於Hadoop基礎實現。

資料分析挖掘：從視覺化分析、資料探勘演算法、預測性分析、語義引擎、資料質量管理等方面，對雜亂無章的資料，進行萃取、提煉和分析的過。

1、資料收集，資料存取

　　當我們將需要的資訊採集完成之後，就需要對資料進行存取，存取的技術路線有一定區別，主要的存取方式有三類。首先要面對的是規模比較大的結構化資料，其次是半結構化資料或者非結構化資料，最後需要面對的是兩種結構化所混合在一起的大資料。

　　2、資料處理，統計分析

　　對於不同模式，不同結構的資料，我們需要進行進一步的處理，需要進行整合處理或者整合處理。當我們將不同的資料收集，整理並且轉換之後，就可以獲取一個新的資料。這樣在後期想要查詢或者想要分析的時候，能夠有一個統一的資料圖。

　　統計分析的方法多種多樣，假設實驗的方法，方差分析的方法，多元迴歸分析方法，隊友分析，聚類分析等等。是整個大資料環節當中具有難度的一個環節，也是必須要突破的一個環節。

　　3、資料探勘，結果呈現

　　資料探勘在當下大資料當中是需要改進的，首先我們已有的資料探勘需要改進，同時資料網路挖掘需要開發，特意群組挖掘也需要開發，對大資料進行挖掘，能夠讓整個大資料技術更加全面。

大資料包括的內容涉及各個領域，如資料收集、儲藏、加工、鍛造，最後生成半成品，供其他行業所使用。

還包括挖掘和採集，相當於工業革命時代的採礦業。

還包括收藏、儲藏相當於現代社會的倉儲和物流行業。

大資料正成為巨大的經濟資產，成為新世紀的礦產與石油。它將帶來全新的創業方向，商業摸式和投資機會。

大資料將逐漸成為現代化社會基礎設施的一部分，就像公路、鐵路、港口、水電和通訊網路不可或缺。

大資料是一個很重要的概念，核心就是預測趨勢。

大資料撼動世界的方方面面！！！