推薦一個大資料分析學習路線,在找相應的論壇或者社群
一、大資料分析的五個基本方面
1、視覺化分析
大資料分析的使用者有大資料分析專家,同時還有普通使用者,但是他們二者對於大資料分析最基本的要求就是視覺化分析,因為視覺化分析能夠直觀的呈現大資料特點,同時能夠非常容易被讀者所接受,就如同看圖說話一樣簡單明瞭。
2、資料探勘演算法
大資料分析的理論核心就是資料探勘演算法,各種資料探勘的演算法基於不同的資料型別和格式才能更加科學的呈現出資料本身具備的特點,也正是因為這些被全世界統計學家所公認的各種統計方法(可以稱之為真理)才能深入資料內部,挖掘出公認的價值。另外一個方面也是因為有這些資料探勘的演算法才能更快速的處理大資料,如果一個演算法得花上好幾年才能得出結論,那大資料的價值也就無從說起了。
3、預測性分析能力
大資料分析最終要的應用領域之一就是預測性分析,從大資料中挖掘出特點,透過科學的建立模型,之後便可以透過模型帶入新的資料,從而預測未來的資料。
4、語義引擎
大資料分析廣泛應用於網路資料探勘,可從使用者的搜尋關鍵詞、標籤關鍵詞、或其他輸入語義,分析,判斷使用者需求,從而實現更好的使用者體驗和廣告匹配。
5、資料質量和資料管理
大資料分析離不開資料質量和資料管理,高質量的資料和有效的資料管理,無論是在學術研究還是在商業應用領域,都能夠保證分析結果的真實和有價值。 大資料分析的基礎就是以上五個方面,當然更加深入大資料分析的話,還有很多很多更加有特點的、更加深入的、更加專業的大資料分析方法。
二、如何選擇適合的資料分析工具
要明白分析什麼資料,大資料要分析的資料型別主要有四大類:
1、交易資料(TRANSACTION DATA)
2、人為資料(HUMAN-GENERATED DATA)
非結構資料廣泛存在於電子郵件、文件、圖片、音訊、影片,以及透過部落格、維基,尤其是社交媒體產生的資料流。這些資料為使用文字分析功能進行分析提供了豐富的資料來源泉。
3、移動資料(MOBILE DATA)
能夠上網的智慧手機和平板越來越普遍。這些移動裝置上的App都能夠追蹤和溝通無數事件,從App內的交易資料(如搜尋產品的記錄事件)到個人資訊資料或狀態報告事件(如地點變更即報告一個新的地理編碼)。
4、機器和感測器資料(MACHINE AND SENSOR DATA)
器、工廠機器和連線網際網路的家用電器。這些裝置可以配置為與網際網路絡中的其他節點通訊,還可以自動向中央伺服器傳輸資料,這樣就可以對資料進行分析。機器和感測器資料是來自新興的物聯網(IoT)所產生的主要例子。來自物聯網的資料可以用於構建分析模型,連續監測預測性行為(如當感測器值表示有問題時進行識別),提供規定的指令(如警示技術人員在真正出問題之前檢查裝置)。內容來自資料分析師CPDA
推薦一個大資料分析學習路線,在找相應的論壇或者社群
一、大資料分析的五個基本方面
1、視覺化分析
大資料分析的使用者有大資料分析專家,同時還有普通使用者,但是他們二者對於大資料分析最基本的要求就是視覺化分析,因為視覺化分析能夠直觀的呈現大資料特點,同時能夠非常容易被讀者所接受,就如同看圖說話一樣簡單明瞭。
2、資料探勘演算法
大資料分析的理論核心就是資料探勘演算法,各種資料探勘的演算法基於不同的資料型別和格式才能更加科學的呈現出資料本身具備的特點,也正是因為這些被全世界統計學家所公認的各種統計方法(可以稱之為真理)才能深入資料內部,挖掘出公認的價值。另外一個方面也是因為有這些資料探勘的演算法才能更快速的處理大資料,如果一個演算法得花上好幾年才能得出結論,那大資料的價值也就無從說起了。
3、預測性分析能力
大資料分析最終要的應用領域之一就是預測性分析,從大資料中挖掘出特點,透過科學的建立模型,之後便可以透過模型帶入新的資料,從而預測未來的資料。
4、語義引擎
大資料分析廣泛應用於網路資料探勘,可從使用者的搜尋關鍵詞、標籤關鍵詞、或其他輸入語義,分析,判斷使用者需求,從而實現更好的使用者體驗和廣告匹配。
5、資料質量和資料管理
大資料分析離不開資料質量和資料管理,高質量的資料和有效的資料管理,無論是在學術研究還是在商業應用領域,都能夠保證分析結果的真實和有價值。 大資料分析的基礎就是以上五個方面,當然更加深入大資料分析的話,還有很多很多更加有特點的、更加深入的、更加專業的大資料分析方法。
二、如何選擇適合的資料分析工具
要明白分析什麼資料,大資料要分析的資料型別主要有四大類:
1、交易資料(TRANSACTION DATA)
2、人為資料(HUMAN-GENERATED DATA)
非結構資料廣泛存在於電子郵件、文件、圖片、音訊、影片,以及透過部落格、維基,尤其是社交媒體產生的資料流。這些資料為使用文字分析功能進行分析提供了豐富的資料來源泉。
3、移動資料(MOBILE DATA)
能夠上網的智慧手機和平板越來越普遍。這些移動裝置上的App都能夠追蹤和溝通無數事件,從App內的交易資料(如搜尋產品的記錄事件)到個人資訊資料或狀態報告事件(如地點變更即報告一個新的地理編碼)。
4、機器和感測器資料(MACHINE AND SENSOR DATA)
器、工廠機器和連線網際網路的家用電器。這些裝置可以配置為與網際網路絡中的其他節點通訊,還可以自動向中央伺服器傳輸資料,這樣就可以對資料進行分析。機器和感測器資料是來自新興的物聯網(IoT)所產生的主要例子。來自物聯網的資料可以用於構建分析模型,連續監測預測性行為(如當感測器值表示有問題時進行識別),提供規定的指令(如警示技術人員在真正出問題之前檢查裝置)。內容來自資料分析師CPDA