首先,資料收集
ETL工具負責從分散式異構資料來源(如關係資料和平面資料檔案)中提取資料到臨時中間層進行清理,轉換,整合,最後載入到資料倉庫或資料集市成為線上分析過程。資料探勘的基礎。
第二,資料訪問
關係資料庫,NOSQL,SQL等
第三,基礎設施
雲端儲存,分散式檔案儲存等。
四是資料處理
自然語言處理(NLP)是一門研究人與計算機之間語言問題的學科。處理自然語言的關鍵是讓計算機“理解”自然語言,因此自然語言處理也稱為自然語言理解(NLU),也稱為計算語言學。一方面,它是語言資訊的處理。另一方面,一個分支是人工智慧(AI)的核心主題之一。
五,統計分析
假設檢驗,顯著性檢驗,差異分析,相關分析,T檢驗,方差分析,卡方分析,偏相關分析,距離分析,迴歸分析,簡單迴歸分析,多元迴歸分析,逐步迴歸,迴歸預測和殘差分析嶺迴歸,邏輯迴歸分析,曲線估計,因子分析,聚類分析,主成分分析,因子分析,快速聚類和聚類,判別分析,對應分析,多元對應分析(最佳尺度分析),Bootstrap技術等。
六,資料探勘
分類,估計,預測,親和力分組或關聯規則,聚類,描述和視覺化,Deion和視覺化,複雜資料型別挖掘(文字),Web,圖形影象,影片,音訊等)。
第七,模型預測
預測模型,機器學習,建模模擬。
第八,結果呈現
首先,資料收集
ETL工具負責從分散式異構資料來源(如關係資料和平面資料檔案)中提取資料到臨時中間層進行清理,轉換,整合,最後載入到資料倉庫或資料集市成為線上分析過程。資料探勘的基礎。
第二,資料訪問
關係資料庫,NOSQL,SQL等
第三,基礎設施
雲端儲存,分散式檔案儲存等。
四是資料處理
自然語言處理(NLP)是一門研究人與計算機之間語言問題的學科。處理自然語言的關鍵是讓計算機“理解”自然語言,因此自然語言處理也稱為自然語言理解(NLU),也稱為計算語言學。一方面,它是語言資訊的處理。另一方面,一個分支是人工智慧(AI)的核心主題之一。
五,統計分析
假設檢驗,顯著性檢驗,差異分析,相關分析,T檢驗,方差分析,卡方分析,偏相關分析,距離分析,迴歸分析,簡單迴歸分析,多元迴歸分析,逐步迴歸,迴歸預測和殘差分析嶺迴歸,邏輯迴歸分析,曲線估計,因子分析,聚類分析,主成分分析,因子分析,快速聚類和聚類,判別分析,對應分析,多元對應分析(最佳尺度分析),Bootstrap技術等。
六,資料探勘
分類,估計,預測,親和力分組或關聯規則,聚類,描述和視覺化,Deion和視覺化,複雜資料型別挖掘(文字),Web,圖形影象,影片,音訊等)。
第七,模型預測
預測模型,機器學習,建模模擬。
第八,結果呈現