-
1 # 紙飛機程式設計
-
2 # IT老實人
個人學習經驗,如果是我會先選擇找一本入門的大資料相關的書籍,通讀一遍,建立對大資料的一個概念。然後可以到b站或者慕課網等學習網站找影片資源,這類影片也有深有淺,看自己當時的情況有選擇的看。最後,你想要更近一步的探究大資料,就應該找更專業的書籍或論文去研讀,這一類論文可以到知網或者谷歌文獻去找。
-
3 # 蟲洞科技
一、如何將商業運營問題轉化為大資料探勘問題
那麼,問題來了,我們該如何把上述的商業運營問題轉化為資料探勘問題?可以對資料探勘問題進行細分,分為四類問題:分類問題、聚類問題、關聯問題、預測問題。
1、分類問題
使用者流失率、促銷活動響應、評估使用者度都屬於資料探勘的分類問題,我們需要掌握分類的特點,知道什麼是有監督學習,掌握常見的分類方法:決策樹、貝葉斯、KNN、支援向量機、神經網路和邏輯迴歸等。
2、聚類問題
細分市場、細分客戶群體都屬於資料探勘的聚類問題,我們要掌握聚類特點,知道無監督學習,瞭解常見的聚類演算法,例如劃分聚類、層次聚類、密度聚類、網格聚類、基於模型聚類等。
3、關聯問題
交叉銷售問題等屬於關聯問題,關聯分析也叫購物籃分析,我們要掌握常見的關聯分析演算法:Aprior演算法、Carma演算法,序列演算法等。
4、預測問題
我們要掌握簡單線性迴歸分析、多重線性迴歸分析、時間序列等。
二、用何種工具實操大資料探勘
能實現資料探勘的工具和途徑實在太多,SPSS、SAS、Python、R等等都可以,但是我們需要掌握哪個或者說要掌握哪幾個,才算學會了資料探勘?這需要看你所處的層次和想要進階的路徑是怎樣的。
第一層級:達到理解入門層次
瞭解統計學和資料庫即可。
第二層級:達到初級職場應用層次
資料庫+統計學+SPSS(也可以是SPSS代替軟體)
第三層級:達到中級職場應用層次
SAS或R
第四層級:達到資料探勘師層次
SAS或R+Python(或其他程式語言)
三、如何利用Python學習大資料探勘
只要能解決實際問題,用什麼工具來學習資料探勘都是無所謂,這裡首推Python。那該如何利用Python來學習資料探勘?需要掌握Python中的哪些知識?
1、Pandas庫的操作
Panda是資料分析特別重要的一個庫,我們要掌握以下三點:
pandas 分組計算;
pandas 索引與多重索引;
索引比較難,但是卻是非常重要的
pandas 多表操作與資料透視表
2、numpy數值計算
numpy資料計算主要應用是在資料探勘,對於以後的機器學習,深度學習,這也是一個必須掌握的庫,我們要掌握以下內容:
Numpy array理解;
陣列索引操作;
陣列計算;
Broadcasting(線性代數里面的知識)
3、資料視覺化-matplotlib與seaborn
Matplotib語法
python最基本的視覺化工具就是matplotlib。咋一看Matplotlib與matlib有點像,要搞清楚二者的關係是什麼,這樣學習起來才會比較輕鬆。
seaborn的使用
seaborn是一個非常漂亮的視覺化工具。
pandas繪圖功能
前面說過pandas是做資料分析的,但它也提供了一些繪圖的API。
4、資料探勘入門
這部分是最難也是最有意思的一部分,要掌握以下幾個部分:
機器學習的定義
在這裡跟資料探勘先不做區別
代價函式的定義
Train/Test/Validate
Overfitting的定義與避免方法
5、資料探勘演算法
資料探勘發展到現在,演算法已經非常多,下面只需掌握最簡單的,最核心的,最常用的演算法:
最小二乘演算法;
梯度下降;
向量化;
極大似然估計;
Logistic Regression;
Decision Tree;
RandomForesr;
XGBoost;
6、資料探勘實戰
透過機器學習裡面最著名的庫scikit-learn來進行模型的理解。
以上,就是為大家理清的大資料探勘學習思路邏輯。可是,這還僅僅是開始,在通往資料探勘師與資料科學家路上,還要學習文字處理與自然語言知識、Linux與Spark的知識、深度學習知識等等,我們要保持持續的興趣來學習資料探勘。
回覆列表
學習大資料之前建議獻血好計算機基礎知識,否則如同聚沙成塔一般根基不穩。
具體到大資料本身,建議先掌握一些基本的工具,例如hive,Hadoop,hbase,es等,先做一些簡單的資料分析。