首頁>Club>
3
回覆列表
  • 1 # 紙飛機程式設計

    學習大資料之前建議獻血好計算機基礎知識,否則如同聚沙成塔一般根基不穩。

    具體到大資料本身,建議先掌握一些基本的工具,例如hive,Hadoop,hbase,es等,先做一些簡單的資料分析。

  • 2 # IT老實人

    個人學習經驗,如果是我會先選擇找一本入門的大資料相關的書籍,通讀一遍,建立對大資料的一個概念。然後可以到b站或者慕課網等學習網站找影片資源,這類影片也有深有淺,看自己當時的情況有選擇的看。最後,你想要更近一步的探究大資料,就應該找更專業的書籍或論文去研讀,這一類論文可以到知網或者谷歌文獻去找。

  • 3 # 蟲洞科技

    一、如何將商業運營問題轉化為大資料探勘問題

    那麼,問題來了,我們該如何把上述的商業運營問題轉化為資料探勘問題?可以對資料探勘問題進行細分,分為四類問題:分類問題、聚類問題、關聯問題、預測問題。

    1、分類問題

    使用者流失率、促銷活動響應、評估使用者度都屬於資料探勘的分類問題,我們需要掌握分類的特點,知道什麼是有監督學習,掌握常見的分類方法:決策樹、貝葉斯、KNN、支援向量機、神經網路和邏輯迴歸等。

    2、聚類問題

    細分市場、細分客戶群體都屬於資料探勘的聚類問題,我們要掌握聚類特點,知道無監督學習,瞭解常見的聚類演算法,例如劃分聚類、層次聚類、密度聚類、網格聚類、基於模型聚類等。

    3、關聯問題

    交叉銷售問題等屬於關聯問題,關聯分析也叫購物籃分析,我們要掌握常見的關聯分析演算法:Aprior演算法、Carma演算法,序列演算法等。

    4、預測問題

    我們要掌握簡單線性迴歸分析、多重線性迴歸分析、時間序列等。

    二、用何種工具實操大資料探勘

    能實現資料探勘的工具和途徑實在太多,SPSS、SAS、Python、R等等都可以,但是我們需要掌握哪個或者說要掌握哪幾個,才算學會了資料探勘?這需要看你所處的層次和想要進階的路徑是怎樣的。

    第一層級:達到理解入門層次

    瞭解統計學和資料庫即可。

    第二層級:達到初級職場應用層次

    資料庫+統計學+SPSS(也可以是SPSS代替軟體)

    第三層級:達到中級職場應用層次

    SAS或R

    第四層級:達到資料探勘師層次

    SAS或R+Python(或其他程式語言)

    三、如何利用Python學習大資料探勘

    只要能解決實際問題,用什麼工具來學習資料探勘都是無所謂,這裡首推Python。那該如何利用Python來學習資料探勘?需要掌握Python中的哪些知識?

    1、Pandas庫的操作

    Panda是資料分析特別重要的一個庫,我們要掌握以下三點:

    pandas 分組計算;

    pandas 索引與多重索引;

    索引比較難,但是卻是非常重要的

    pandas 多表操作與資料透視表

    2、numpy數值計算

    numpy資料計算主要應用是在資料探勘,對於以後的機器學習,深度學習,這也是一個必須掌握的庫,我們要掌握以下內容:

    Numpy array理解;

    陣列索引操作;

    陣列計算;

    Broadcasting(線性代數里面的知識)

    3、資料視覺化-matplotlib與seaborn

    Matplotib語法

    python最基本的視覺化工具就是matplotlib。咋一看Matplotlib與matlib有點像,要搞清楚二者的關係是什麼,這樣學習起來才會比較輕鬆。

    seaborn的使用

    seaborn是一個非常漂亮的視覺化工具。

    pandas繪圖功能

    前面說過pandas是做資料分析的,但它也提供了一些繪圖的API。

    4、資料探勘入門

    這部分是最難也是最有意思的一部分,要掌握以下幾個部分:

    機器學習的定義

    在這裡跟資料探勘先不做區別

    代價函式的定義

    Train/Test/Validate

    Overfitting的定義與避免方法

    5、資料探勘演算法

    資料探勘發展到現在,演算法已經非常多,下面只需掌握最簡單的,最核心的,最常用的演算法:

    最小二乘演算法;

    梯度下降;

    向量化;

    極大似然估計;

    Logistic Regression;

    Decision Tree;

    RandomForesr;

    XGBoost;

    6、資料探勘實戰

    透過機器學習裡面最著名的庫scikit-learn來進行模型的理解。

    以上,就是為大家理清的大資料探勘學習思路邏輯。可是,這還僅僅是開始,在通往資料探勘師與資料科學家路上,還要學習文字處理與自然語言知識、Linux與Spark的知識、深度學習知識等等,我們要保持持續的興趣來學習資料探勘。

  • 中秋節和大豐收的關聯?
  • 孩子6歲半,一邊門牙掉了兩顆,可長出一顆牙佔了兩顆牙的位置,要緊嗎?