教育大資料六層架構是:
1. 資料來源層:包括傳統的資料庫,資料倉庫,分散式資料庫,NOSQL資料庫,半結構化資料,無結構化資料,爬蟲,日誌系統等,是大資料平臺的資料產生機構。
2. 資料整理層:包括資料清洗、資料轉換、資料加工、資料關聯、資料標註、資料預處理、資料載入、資料抽取等工作,該層的作用是將raw data加工成product data。
3. 資料儲存層(資料中心):儲存了經過清洗處理後的可用於生產系統的資料,比如元資料,業務資料庫,模型資料庫等,該層直接面嚮應用系統,要求高可靠、高併發、高精度。
4. 資料建模與挖掘層:該層實現對資料的深加工,根據業務需要,建立適用於業務的資料統計分析模型,建立大資料執行處理平臺,運用資料分析、資料探勘、深度學習等演算法從生產資料集中挖掘出資料內在的價值,為業務系統提供資料和決策支援。
5. 行業應用層:深入分析行業資料特點,梳理行業資料產品需求,建立適用於不同行業的資料應用產品。
6. 資料視覺化:以智慧報表、專題報告、BI展示、平臺介面等多種方式提供資料展示和資料共享服務
教育大資料六層架構是:
1. 資料來源層:包括傳統的資料庫,資料倉庫,分散式資料庫,NOSQL資料庫,半結構化資料,無結構化資料,爬蟲,日誌系統等,是大資料平臺的資料產生機構。
2. 資料整理層:包括資料清洗、資料轉換、資料加工、資料關聯、資料標註、資料預處理、資料載入、資料抽取等工作,該層的作用是將raw data加工成product data。
3. 資料儲存層(資料中心):儲存了經過清洗處理後的可用於生產系統的資料,比如元資料,業務資料庫,模型資料庫等,該層直接面嚮應用系統,要求高可靠、高併發、高精度。
4. 資料建模與挖掘層:該層實現對資料的深加工,根據業務需要,建立適用於業務的資料統計分析模型,建立大資料執行處理平臺,運用資料分析、資料探勘、深度學習等演算法從生產資料集中挖掘出資料內在的價值,為業務系統提供資料和決策支援。
5. 行業應用層:深入分析行業資料特點,梳理行業資料產品需求,建立適用於不同行業的資料應用產品。
6. 資料視覺化:以智慧報表、專題報告、BI展示、平臺介面等多種方式提供資料展示和資料共享服務