需要的,最起碼需要本科以上的學歷。
從企業方面來說,大資料人才大致可以分為產品和市場分析、安全和風險分析以及商業智慧三大領域。產品分析是指透過演算法來測試新產品的有效性,是一個相對較 新的領域。在安全和風險分析方面,資料科學家們知道需要收集哪些資料、如何進行快速分析,並最終透過分析資訊來有效遏制網路入侵或抓住網路罪犯。
一、ETL研發
ETL研發,主要負責將分散的、異構資料來源中的資料如關係資料、平面資料檔案等抽取到臨時中間層後進行清洗、轉換、整合,最後載入到資料倉庫或資料集市中,成為聯機分析處理、資料探勘的基礎。
目前,ETL行業相對成熟,相關崗位的工作生命週期比較長,通常由內部員工和外包合同商之間通力完成。ETL人才在大資料時代炙手可熱的原因之一是:在企業大資料應用的早期階段,Hadoop只是窮人的ETL。
二、Hadoop開發
Hadoop的核心是HDFS和MapReduce.HDFS提供了海量資料的儲存,MapReduce提供了對資料的計算。隨著資料集規模不斷增大,而傳統BI的資料處理成本過高,企業對Hadoop及相關的廉價資料處理技術如Hive、HBase、MapReduce、Pig等的需求將持續增長。如今具備Hadoop框架經驗的技術人員是搶手的大資料人才。
三、視覺化(前端展現)工具開發
海量資料的分析是個大挑戰,而新型資料視覺化工具如Spotifre,Qlikview和Tableau可以直觀高效地展示資料。
視覺化開發就是在可視開發工具提供的圖形使用者介面上,透過操作介面元素,由可視開發工具自動生成應用軟體。還可輕鬆跨越多個資源和層次連線您的所有數 據,經過時間考驗,完全可擴充套件的,功能豐富全面的視覺化元件庫為開發人員提供了功能完整並且簡單易用的元件集合,以用來構建極其豐富的使用者介面。
過去,資料視覺化屬於商業智慧開發者類別,但是隨著Hadoop的崛起,資料視覺化已經成了一項獨立的專業技能和崗位。
四、資訊架構開發
大資料重新激發了主資料管理的熱潮。充分開發利用企業資料並支援決策需要非常專業的技能。資訊架構師必須瞭解如何定義和存檔關鍵元素,確保以最有效的方式進行資料管理和利用。資訊架構師的關鍵技能包括主資料管理、業務知識和資料建模等。
五、資料倉庫研究
資料倉庫是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個數據儲存,出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧來指導業務流程改進和監視時間、成本、質量和控制。
六、OLAP開發
隨著資料庫技術的發展和應用,資料庫儲存的資料量從20世紀80年代的兆(M)位元組及千兆(G)位元組過渡到現在的兆兆(T)位元組和千兆兆(P)位元組,同時,使用者的查詢需求也越來越複雜,涉及的已不僅是查詢或操縱一張關係表中的一條或幾條記錄,而且要對多張表中千萬條記錄的資料進行資料分析和資訊綜合。聯機分析處理(OLAP)系統就負責解決此類海量資料處理的問題。
OLAP線上聯機分析開發者,負責將資料從關係型或非關係型資料來源中抽取出來建立模型,然後建立資料訪問的使用者介面,提供高效能的預定義查詢功能。
需要的,最起碼需要本科以上的學歷。
從企業方面來說,大資料人才大致可以分為產品和市場分析、安全和風險分析以及商業智慧三大領域。產品分析是指透過演算法來測試新產品的有效性,是一個相對較 新的領域。在安全和風險分析方面,資料科學家們知道需要收集哪些資料、如何進行快速分析,並最終透過分析資訊來有效遏制網路入侵或抓住網路罪犯。
一、ETL研發
ETL研發,主要負責將分散的、異構資料來源中的資料如關係資料、平面資料檔案等抽取到臨時中間層後進行清洗、轉換、整合,最後載入到資料倉庫或資料集市中,成為聯機分析處理、資料探勘的基礎。
目前,ETL行業相對成熟,相關崗位的工作生命週期比較長,通常由內部員工和外包合同商之間通力完成。ETL人才在大資料時代炙手可熱的原因之一是:在企業大資料應用的早期階段,Hadoop只是窮人的ETL。
二、Hadoop開發
Hadoop的核心是HDFS和MapReduce.HDFS提供了海量資料的儲存,MapReduce提供了對資料的計算。隨著資料集規模不斷增大,而傳統BI的資料處理成本過高,企業對Hadoop及相關的廉價資料處理技術如Hive、HBase、MapReduce、Pig等的需求將持續增長。如今具備Hadoop框架經驗的技術人員是搶手的大資料人才。
三、視覺化(前端展現)工具開發
海量資料的分析是個大挑戰,而新型資料視覺化工具如Spotifre,Qlikview和Tableau可以直觀高效地展示資料。
視覺化開發就是在可視開發工具提供的圖形使用者介面上,透過操作介面元素,由可視開發工具自動生成應用軟體。還可輕鬆跨越多個資源和層次連線您的所有數 據,經過時間考驗,完全可擴充套件的,功能豐富全面的視覺化元件庫為開發人員提供了功能完整並且簡單易用的元件集合,以用來構建極其豐富的使用者介面。
過去,資料視覺化屬於商業智慧開發者類別,但是隨著Hadoop的崛起,資料視覺化已經成了一項獨立的專業技能和崗位。
四、資訊架構開發
大資料重新激發了主資料管理的熱潮。充分開發利用企業資料並支援決策需要非常專業的技能。資訊架構師必須瞭解如何定義和存檔關鍵元素,確保以最有效的方式進行資料管理和利用。資訊架構師的關鍵技能包括主資料管理、業務知識和資料建模等。
五、資料倉庫研究
資料倉庫是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個數據儲存,出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧來指導業務流程改進和監視時間、成本、質量和控制。
六、OLAP開發
隨著資料庫技術的發展和應用,資料庫儲存的資料量從20世紀80年代的兆(M)位元組及千兆(G)位元組過渡到現在的兆兆(T)位元組和千兆兆(P)位元組,同時,使用者的查詢需求也越來越複雜,涉及的已不僅是查詢或操縱一張關係表中的一條或幾條記錄,而且要對多張表中千萬條記錄的資料進行資料分析和資訊綜合。聯機分析處理(OLAP)系統就負責解決此類海量資料處理的問題。
OLAP線上聯機分析開發者,負責將資料從關係型或非關係型資料來源中抽取出來建立模型,然後建立資料訪問的使用者介面,提供高效能的預定義查詢功能。