這兩年,隨著大資料、精益化運營、增長駭客等概念的傳播,資料分析的思維越來越深入人心。
資料分析有很多層次,並非所有做資料分析的人都必須數理統計相關的專業出身才行。
一般意義的資料分析,尤其是中小企業,傳統的是對以往銷售資料分析,輔助決策下個週期的採購或營銷計劃等。
隨著網際網路的發展,個性化推薦與廣告推送需求凸顯,B2C也直接讓資料的價值越來越明顯,所以就有了很多資料分析相關的職位;而這些工作的勝任,只需要基礎的計算和統計培訓,再加上常規excel或者專業統計軟體的基本用法的練習即可;相比而言對業務的理解能力更加重要,資料分析只是手段。
真正資料探勘相關的資料分析,或者說垂直領域的俠義的資料分析,就是指資料探勘,從問題識別,建模,演算法設計與計算求解,到後期 驗證,對比分析,結論報告等,是將數理方法應用於實踐問題的複雜過程。比如 我從事過的生物資訊資料分析,面對的是ATCGAGAGAG這樣的序列資料,一個人的基因組約3G,測序出來後會有N個乘數,也就是 3G x n,這是原始資料;基於此開始一系列常規的分析,然後每個細分的方向,各個小組開展各自的分析;出了常規分析,可能還需要從現有的資料中挖掘新的資訊出來,儘可能地尋找與表型可能關聯的“本質原因”,只有建立很多的關聯可能性,才可能將基因組資料分析結論應用於個體的健康檢測或疾病診療。這個層次所要求的不只是會使用statistica, R,SPSS,SAS這麼簡單(此時往往SPSS,SAS都不滿足需求,大多用於工程類或實踐性強的場景),具備本科或研究生水平的數理統計專業知識背景,還要求全面的系統知識、豐富的實踐經驗、極強的動手實踐能力,等等。 最簡單的例子,你所面對的問題是:一個癌症病人,你擁有他的基因組資料,你能為他做些什麼? 雖然看起來很宏大,但實踐起來也是一個一個的工作任務執行的。
又比如,我做過的一個數學建模:油田5年規劃。 一個油田的產油量取決於很多因素,往往一口井開始時產量高,然後逐漸降低;油田為了穩產或持續增產,會採取N多措施。 如果在5年中合理採取N中措施,保持整個油田穩產或持續增產?已知過去的產油量資料。 這是典型的實踐中的資料分析案例,結合了模擬、建模、預測、規劃等問題,可以採取多種方法設計多種方案對比驗證,最後給出報告。[ 實踐中也確實如此,一個地方政府或部門的投資分析或財務規劃就更典型了 ,類似的都屬於“指定目標、最佳化分配資源以達成目標”的範疇。]
綜上,粗略地劃分3個層次。LZ所謂的產品經理級別的資料分析屬於level 2 。此類書籍可參考《資料分析之美》,《誰說菜鳥不會資料分析》等。
這兩年,隨著大資料、精益化運營、增長駭客等概念的傳播,資料分析的思維越來越深入人心。
資料分析有很多層次,並非所有做資料分析的人都必須數理統計相關的專業出身才行。
一般意義的資料分析,尤其是中小企業,傳統的是對以往銷售資料分析,輔助決策下個週期的採購或營銷計劃等。
隨著網際網路的發展,個性化推薦與廣告推送需求凸顯,B2C也直接讓資料的價值越來越明顯,所以就有了很多資料分析相關的職位;而這些工作的勝任,只需要基礎的計算和統計培訓,再加上常規excel或者專業統計軟體的基本用法的練習即可;相比而言對業務的理解能力更加重要,資料分析只是手段。
真正資料探勘相關的資料分析,或者說垂直領域的俠義的資料分析,就是指資料探勘,從問題識別,建模,演算法設計與計算求解,到後期 驗證,對比分析,結論報告等,是將數理方法應用於實踐問題的複雜過程。比如 我從事過的生物資訊資料分析,面對的是ATCGAGAGAG這樣的序列資料,一個人的基因組約3G,測序出來後會有N個乘數,也就是 3G x n,這是原始資料;基於此開始一系列常規的分析,然後每個細分的方向,各個小組開展各自的分析;出了常規分析,可能還需要從現有的資料中挖掘新的資訊出來,儘可能地尋找與表型可能關聯的“本質原因”,只有建立很多的關聯可能性,才可能將基因組資料分析結論應用於個體的健康檢測或疾病診療。這個層次所要求的不只是會使用statistica, R,SPSS,SAS這麼簡單(此時往往SPSS,SAS都不滿足需求,大多用於工程類或實踐性強的場景),具備本科或研究生水平的數理統計專業知識背景,還要求全面的系統知識、豐富的實踐經驗、極強的動手實踐能力,等等。 最簡單的例子,你所面對的問題是:一個癌症病人,你擁有他的基因組資料,你能為他做些什麼? 雖然看起來很宏大,但實踐起來也是一個一個的工作任務執行的。
又比如,我做過的一個數學建模:油田5年規劃。 一個油田的產油量取決於很多因素,往往一口井開始時產量高,然後逐漸降低;油田為了穩產或持續增產,會採取N多措施。 如果在5年中合理採取N中措施,保持整個油田穩產或持續增產?已知過去的產油量資料。 這是典型的實踐中的資料分析案例,結合了模擬、建模、預測、規劃等問題,可以採取多種方法設計多種方案對比驗證,最後給出報告。[ 實踐中也確實如此,一個地方政府或部門的投資分析或財務規劃就更典型了 ,類似的都屬於“指定目標、最佳化分配資源以達成目標”的範疇。]
綜上,粗略地劃分3個層次。LZ所謂的產品經理級別的資料分析屬於level 2 。此類書籍可參考《資料分析之美》,《誰說菜鳥不會資料分析》等。