回覆列表
-
1 # 科技行者
-
2 # 日衝資訊 黃
從認知方法論的角度上,說說我個人的觀點。
預測未來的方法論蘇格拉底曾說,我比別人知道得多的,不過是我知道自己無知。未來對所有人來說都是無知。預測未來就是透過已知探索無知的過程。預測未來的方法通常有兩個層次,一是直觀經驗法,假定事物在不斷重複某些直觀的經驗,比如,使用統計學預測股市行情。另一個是邏輯分析法,透過建立邏輯體系找出變化規律,比如,門捷列夫發現了元素週期,從而引導人們找到了很多未知元素。直觀經驗法用得最為普遍,但並不解決問題,還容易導致謬誤,八卦算命就是一個失敗的例子。邏輯分析法,則是目前最可靠的探索未來的手段。鋪墊完畢,以下進入正題。
大資料分析的現狀大資料分析開始於資料探勘,因為幫助沃爾瑪找出了隱藏在啤酒和尿不溼背後的關聯性被人們推崇。但是大資料探索未知的方法仍然停留在直觀經驗法的層面上。為什麼這麼說呢?在前面的例子中,大資料找到的是關聯性,而不是這種關聯性背後的因果關係。從而大資料分析得出的結論只能用於相同已知物件,而無法擴充套件到未知世界。大資料結合人工智慧,深度學習之後會不會提升一下層次呢?至少目前還看不出任何可能。因為,人工智慧,深度學習本身也還沒有脫離直觀經驗的層面,這些技術只是用來提高大資料分析的效率和準確度。簡單地說,直接用大資料分析預測未來跟八卦算命並沒有本質上的區別。
如果先建立邏輯體系,再用大資料分析尋找和已知因果關係相關聯的資料這種應用還是相當靠譜的。
預測未來一直是個冒險的想法。所幸的是,預測分析技術的出現,讓使用者能夠根據歷史資料和分析技術(如統計建模和機器學習)預測未來結果,這使得預測結果和預期趨勢比以前更加可靠了。
儘管如此,與任何新興技術一樣,預測分析可能很難充分發揮其潛力。讓這一挑戰更加複雜的是,由於策略不完善或者預測分析工具的濫用所導致的不準確或誤導性結果,可能在幾周、幾個月甚至幾年內都不會很明顯。
預測分析有潛力徹底改變各種行業和各種運營方式,包括零售、製造、供應鏈、網路管理、金融服務和醫療保健。人工智慧網路技術公司Mist Systems首席技術官、聯合創始人Bob Friday表示:“深度學習和預測性人工智慧分析將改變我們社會的各個階段,可以與網際網路和移動蜂窩技術帶來的變革相提並論。”
以下這7個技巧可以幫助你的企業組織充分利用預測分析計劃。
1、能夠得到高質量、易於理解的資料
預測分析應用需要大量資料,並且依賴於透過反饋迴圈提供的資訊來不斷進行完善。“資料和預測分析相輔相成,”全球IT解決方案和服務提供商L&T Infotech首席資料和分析官Soumendra Mohanty這樣表示。
瞭解輸入預測分析模型的資料的型別是非常重要的。Eric Feigl-Ding是一位流行病學家、營養學家和健康經濟學家,現任哈佛大學公共衛生學院訪問學者。他說:“資料是哪種型別的?是每天收集的實時資料,例如Facebook和谷歌,還是難以訪問的醫療記錄資料?”為了準確預測,模型需要設計支援接收到的特定型別的資料。
只是簡單地在計算資源上投入大量資料的預測性建模工作,是通常註定要失敗的。“由於存在大量資料,其中大部分資料可能與特定問題是無關的,但在給定樣本中似乎可能是相關的,”金融資料和軟體公司FactSet投資組合管理和交易解決方案副Quattroporte、研究主管Henri Waelbroeck這樣解釋說。“如果不瞭解產生資料的過程,那麼基於偏見資料進行訓練的模型可能從一開始就錯了。”
2、注意模式
SAP高階分析產品經理Richard Mooney表示,每個人都對演算法很著迷,但提供給演算法的資料和演算法本身一樣都是很好的。“如果沒有模式可尋,那麼他們就不可能找到這樣一種模式。大多數資料集都有隱藏的模式。”
模式通常以兩種隱藏的方式:
- 模式存在於兩列之間的關係中。例如,可以透過把即將發生的交易結束日期資訊與關聯的電子郵件開啟率資料進行對比來發現模式。“如果交易即將結束,電子郵件的開啟率應該會大幅增加,因為買方會有很多人閱讀合同並審查合同,”Mooney說。
- 變數隨時間變化的方式會顯示出一定的模式。“在上面的示例中,即使你知道客戶打開了200次電子郵件,還不如知道上週他們打開了175次郵件那麼有用處。”
3、專注於可能帶來積極投資回報率的、可管理的任務
紐約理工學院(NYIT)分析與商業智慧主管Michael Urmeneta表示:“現在有一種誘惑,就是將機器學習演算法應用於大量資料,以期獲得洞察力。”他說,這種方法的問題在於,這就像試圖同時治癒所有型別的癌症一樣。“問題太大,資料太亂,沒有足夠的資金,沒有足夠的支援,贏得勝利是不可能的,” Urmeneta解釋說
當任務集中時,成功的可能性要大得多。“如果出現了問題,我們可以找到解決這一錯綜複雜問題的專家。我們可能會有更清晰、更好理解的資料。”
4、用正確的方法完成工作
好訊息是,你幾乎有無數方式和方法來生成準確的預測分析。然而,這也恰恰是個壞訊息。“每天都有一種新的、熱門的分析方法,人們很容易對使用新方法感到興奮,”芝加哥大學National Opinion Research Center(NORC)行為、經濟分析和決策實踐主管Angela Fontes表示。“但是,根據我的經驗,最成功的專案往往是那些真正深入思考分析所需結果、引導他們所選方法論的專案——即使最合適的方法不是最性感、最新的方法。”
“使用者必須謹慎選擇適合他們需求的方法,”羅切斯特理工學院副教授兼計算機工程系主任Shanchieh Jay Yang建議道。“有一種有效且可解釋的技術,利用順序、時間資料的統計特性,在未來進行可能的推廣。”
5、構建具有精確定義目標的模型
這一點似乎是顯而易見的,但許多預測分析專案的目標是建立一個宏偉的模型,而沒有明確的計劃,明確最終的用途。“有很多宏偉的......模型從未在任何地方使用過,因為沒有人知道如何使用這些資訊來實現或提供價值,”汽車、保險和碰撞修理行業的SaaS提供商CCC Information Service產品管理高階副QuattroporteJason Verlen這樣說。
Fontes表示認同。“使用恰當的工具肯定能確保我們從分析中獲得理想的結果......因為這迫使我們要非常清楚我們的目標是什麼。如果我們不清楚分析的目標是什麼,那麼我們不可能真正得到我們想要的東西。”
6、IT和相關業務部門之間建立密切的合作關係
業務和技術部門建立牢固的合作伙伴關係,這一點至關重要。“這樣你就可以瞭解新技術如何應對業務挑戰,或者改善現有業務環境,”客戶體驗技術提供商Genesys的人工智慧產品管理副QuattroportePaul Lasserre說。然後,一旦設定了目標,就在有限範圍的應用中測試模型,以確定該解決方案是否實際提供了價值。
7、不要被設計不良的模型所誤導
模型是由人設計的,因此通常會存在潛伏的瑕疵。錯誤的模型、使用不當數據構建的模型很容易產生誤導,或者在極端情況下,會產生完全錯誤的預測。
例如,選擇偏差(沒有實現適當的隨機化)可能混淆預測結果。例如,在假設的減肥研究中,可能有50%的參與者選擇放棄隨訪體重測量。然而,放棄的人的體重軌跡與堅持的人不同。這使得分析變得很複雜,因為在這樣的研究中,堅持該計劃中的人通常是那些實際在減肥的人。另一方面,戒菸者通常是體重減輕很少或者沒有的個體。因此,雖然體重減輕可能是公認的具有因果關係和預測性的,但在有限資料庫中,退出率為50%,實際的最終結果可能是隱藏起來的,Feigl-Ding報告這樣表示。
要點
商業智慧和分析軟體開發商GoodData資料科學高階主管Arvin Hsu表示:“企業正在面對越來越大的痛苦,學習預測分析也許不是你能駕馭的問題。然而,強大的預測分析對業務效率、收入和產品效能的影響是值得我們花時間、精力和資源去做這件事情的。”