在運營商市場營銷領域,運用資料探勘建模技術計算出目標客戶的營銷特徵、利用標籤屬性幫助運營商進行客戶洞察,助力運營商實現精準營銷由來已久。近年來,隨著海量資料儲存、分散式計算、實時計算、機器學習、深度學習等技術的發展和資料探勘方法的成熟應用,傳統基於統計學理論和業務經驗的營銷手段幾乎完全被大資料分析建模下的精準營銷取代。
同時,在運營商精耕市場、精細化管理、提升服務的各個方面,也越來越多地看到構建資料探勘模型的應用場景。大資料技術和AI智慧應用呈現出越來越重要的基礎支撐作用。
問題產生:資料探勘建模過程中不可忽視的問題在資料探勘技術和工具被廣泛使用的同時,其專業性和技術性的高門檻也逐漸顯露出來。傳統挖掘建模平臺的使用無一不附加了較高的人力成本,每一個模型的構建都離不開資料工程師、資料科學家和業務分析師的共同參與協作。面對瞬息萬變的市場環境,傳統的建模平臺和建模方式已無法滿足靈活多變的營銷活動需求。
資料準備工作繁瑣
資料探勘過程中,資料準備是一項基礎卻不可或缺的工作,不同的專題對應不同的資料輸入,而傳統資料建模工具不具備靈活的資料拉取和資料構建能力,建模前都需要依賴專業的資料人員整合多源資料,再進行匯入匯出,整個工作耗時長、技術門檻高。
人員溝通成本高,風險大
建模全過程都離不開資料探勘工程師與業務人員的協作,資料分析師需要理解業務設計人員的業務目標,將業務理解轉化為資料理解,在資料準備、資料開發和最終的結果呈現過程中,業務人員需要不斷將業務理解和需求傳遞給資料探勘工程師,溝通成為建模應用過程中不容小覷的成本支出,同時也是最終模型是否精準對標營銷目標的最大風險。
建模週期長,無法響應時效性強且多變的營銷目標
在繁瑣的資料準備和人員溝透過程下,不可避免會帶來較長的建模週期,在對業務熟悉的設計人員配合下,從資料採集、清洗,到整合、訓練、生成模型,通常需要14-17天;而面對業務多元化、產品多樣化、使用者行為千變萬化的市場形態,這樣的挖掘建模及應用週期是無法及時響應需求的。
以上問題的本質,在於傳統資料探勘分析工具只為資料工程師服務,而對業務目標的理解僅停留在他們的頭腦中,並依賴於業務設計師的傳遞。
針對運營商精準營銷,解決這些難題和困境的無疑是一款能夠幫助業務人員快速、獨立地為業務場景開發模型並生成結果的平民化工具。
破解之道:智慧業務化建模,用極簡的方式為使用者帶來極智的體驗鯨智業務化建模工具作為鯨智平臺中面向最終使用者的工具產品,透過將專業性操作和資料處理技術封裝到強大的後臺處理系統,呈現給使用者業務理解簡單、功能操作簡練的介面互動,將過去要多人協作才能完成的資料探勘模型構建變成了無技術門檻、易實現、快見效的普通業務操作過程。
1
資料準備無縫對接模型訓練,實現一體式資料探勘
最佳化的“工程-流程-元件”框架構建一體式資料探勘環境
智慧化業務建模平臺以“工程-流程-元件”三級構建框架為使用者提供了操作便捷化、元件智慧化、流程自動化的一體式資料探勘環境,使用者在集中化的工具平臺環境中,一次性完成資料準備、模型訓練和模型應用。
工程:用專案管理的思想幫助使用者基於業務場景定製資料探勘模型及應用例項。系統則以專案工程構建實施的方式,透過系統內建的業務流程實現使用者的業務訴求。
流程:每一項工程例項都包含業務輸入、資料來源編排、模型訓練、模型調參、最佳化、輸出全流程,使用者基於業務場景目標透過簡單易操作的介面完成流程中的配置環節,如透過勾選進行場景化的資料編排,構建模型訓練資料;系統透過呼叫各類元件完成專業性的資料構建及建模處理全過程的功能實現。
元件:系統元件除了來自於對資料表、指標的原子化和元件化,同時也包含了演算法、自動調參、資料處理、特徵篩選等核心的功能性元件。在資料構建和模型訓練應用的流程中,元件化設計可以做到很好的功能重用和整體架構最佳化。
無縫接入資料準備全過程:基於業務視角的智慧檢視實現資料融合,提升資料準備效率,降低人工操作複雜度
智慧檢視基於“oneID”理念實現資料融合,幫助使用者快速構建用於訓練的資料。前端,使用者基於業務視角實現不同場景下的資料編排;後臺則透過資料融合引擎,解決資料融合過程的效率問題。資料融合引擎的工作原理是將需要整合的庫表數量和任務預估耗時作為基本評估要素,結合智慧任務分片計算,運用合併樹的貪心演算法得到寬表合併最優路徑。即智慧地將小表合併為多個合適的,整體成本最優的中間大寬表。從而使資料編排效能提升十倍以上。
2
訓練建模全過程,於無聲處為業務人員完成AI賦能
智慧挖掘建模的工作過程,是將業務場景透過資料來描述,並運用工具實現資料的融合、編排,透過機器學習、深度學習等人工智慧演算法進行資料探勘建模,最終得到業務場景下的資料結果。其本質是透過實現業務場景的關聯、從而實現對複雜業務場景的描述和理解,並透過資料作為載體,獲取到複雜業務場景下深層次的資訊和業務規律,而這一過程始終讓業務人員遮蔽在深奧的專業技術操作之外。
特徵欄位選擇,使用者零干預也能做到最優
特徵欄位的選擇會影響到建模的效率和模型的準確度。對於業務熟練和對資料理解深入的業務人員,可以憑藉業務經驗選擇出合適的特徵欄位,但不斷產生的新業務仍然讓業務人員對特徵值的選擇傷透了腦筋。同時,為了保障建模過程中每一個細節都處理得嚴謹和科學,系統封裝了多種資料處理方法和特徵篩選策略,實現特徵欄位的自動化選擇,無需使用者干預。
使用者無需干預,且可以透過系統算出的特徵權重排名看到科學計算方法下的特徵欄位選擇。下圖展示了在對APP外賣騎手進行精準圈定的模型訓練中,透過相關性演算法得出的TOP10特徵欄位。
“開放式演算法庫+演算法自評估”,不用懂演算法,也能出最好的模型
在模型訓練過程中,系統從開放式演算法庫中選取同類多個演算法並行訓練,不同的演算法基於不同的引數組合構建訓練例項,每個訓練例項分別部署在不同的節點上,拉取相同的資料進行分散式學習訓練。
在學習訓練之後的檢驗測試環節,系統針對不同演算法訓練出的模型分別計算出混淆矩陣指數,以及準確率、召回率、F1值、訓練耗時等衍生指標,使用者可結合模型應用場景選擇準確率或召回率作為第一參考指標,或對以上指標進行綜合評估(主要取決於營銷活動的場景側重於覆蓋面還是準確度,同時也會考慮活動投入的成本和資源等因素)。
模型訓練-應用迭代最佳化機制,實現自動的動態調優
在模型構建和應用的全流程中,採用模型自動閉環最佳化機制,資料編排一次完成將上月生產資料用於訓練,生成的模型應用到本月的營銷生產中,同時,上月中營銷生產的結果資料更新到對應的資料表,失敗資料得以修正。一方面,省卻業務人員每個賬期進行資料編排拉取的繁瑣;另一方面,保障輸入到訓練建模流程中是最新的營銷結果資料。這種自動化的迴歸驗證機制極大地提升了模型的準確度。
3
精確觸達使用者的用數場景
鯨智業務化建模平臺不僅透過強有力的後臺支撐完成資料探勘建模全過程,實現使用者零干預式的資料智慧發掘,同時也從使用者視角考慮周全用數的場景,完成直接觸達數智成果體驗的“最後一公里”使命。
客戶群輸出方式多樣化,滿足個性化使用場景
鯨智業務化建模平臺在最終輸出目標資料結果集的時候,充分考慮到業務人員對目標結果應當擁有更加靈活的處理方式。因此,創新性採用了多種互動式方式:
交叉屬性條件過濾:使用者透過對多個分類屬性進行交叉計算,過濾輸出的結果集。適用於分類屬性對營銷目標影響差異度大的場景。機率篩選:使用者透過調整目標分類的機率值,根據機率區間下的結果集數量確定需要採納的結果集。適用於需要考慮營銷成本和資源的場景。自定義規模調整:使用者調節指定目標及機率,結合目標結果集的各項屬性進行自定義結果集的選取。適用於將分類屬性和營銷成本綜合考慮的場景。
使用置信度曲線,最佳機率區間一目瞭然
使用者在使用模型進行推理完成後,系統提供“營銷成功可能性-目標客戶數”分佈圖(置信度曲線),讓使用者對最佳機率區間一目瞭然,從而選取最合適的機率區間,確定最終的資料結果集。
鯨智業務化建模平臺開篇之作:江蘇移動醍醐智慧標籤系統醍醐智慧標籤系統是江蘇移動運用鯨智業務化建模平臺構建的核心生產系統,冠以“醍醐”之名,寓意為給市場營銷一線注入智慧。醍醐智慧標籤系統讓江蘇移動業務人員可以快速、獨立地進行建模應用,支撐一線市場營銷,該專案獲得江蘇省移動公司2019創新二等獎,移動集團2020一季度創新獎。
在構建醍醐智慧標籤平臺之前,經分室的業務設計人員需要先根據營銷活動目標提需求給資料運營組,由資料人員進行資料匯入,模型構建和結果輸出;過程週期通常需要7—14天。醍醐智慧標籤平臺集成了資料取數、資料構建、模型訓練和應用結果輸出全過程,業務設計人員透過簡單的配置環節,一鍵生成結果,全程最多不超過2天,成熟業務應用下的模型構建只需4—8小時訓練時長。
應用中除了無技術門檻,易操作的特點,在模型的準確度方面也能達到較好的水平。以5G套餐挖掘應用為例:
• 模型的查全率和查準率均在75%以上;
• 實際外呼測試,轉化率在8.63%,明顯高於通常的5%機率水平。
鯨智業務化建模平臺目前在江蘇移動部分分公司實際應用,除了幫助廣大業務設計人員快速生成智慧的挖掘營銷標籤,同時,應用廠家逐步從個人市場營銷拓展到家庭、政企市場支撐、客服服務提升、網路投資決策等領域。
價值創新,不斷打磨,止於至善只有給客戶帶來價值的產品才是最好的產品,鯨智業務化建模平臺秉承這樣的價值觀實現了應用場景的突破,重新整理了資料探勘工具的體驗方式,解決了客戶在使用資料智慧能力過程中的難題。
資料智慧從科學技術角度來看,是一個極具專業性的領域;而從應用角度來看,卻是一項在各個行業領域都很重要的基礎能力。作為新基建,資料智慧與傳統基礎設施具有共同的特點:服務型,支撐性,但資料智慧的抽象性和資料處理的專業度和技術性,又給使用他們的物件帶來不小的難度,只有透過從使用者視角進行規劃和設計,降低使用門檻,讓使用者使用資料智慧就像開啟水龍頭、調節電源開關一樣簡單,才能使產品價值在觸達使用者的那一刻得以完全體現。
“工欲善其事必先利其器”,資料智慧產品的設計者和開發者,正是在用匠心和匠人精神,不斷錘鍊資料智慧產品。鯨智業務化建模平臺將從以下三個方面實現新的突破:
讓業務化建模平臺在使用者手裡實現能力的平滑提升
運算元是用於資料探勘過程中必不可少的封裝元件,例如資料匯入運算元、清洗運算元、統計算子、演算法運算元等。透過最佳化工具的元件架構,標準化運算元的接入規範,讓使用者像補給彈藥一樣為鯨智業務化建模平臺線上擴充運算元。這種靈活的線上運算元擴充能力將幫助使用者隨時根據需要構建更多場景下的資料探勘模型。
具備支撐更大規模應用的能力
目前,鯨智業務化建模平臺設計為省級運營商的應用規模。對於更大規模下的應用,如集團化部署,集中使用的場景,則需要考慮引入容器化的資源排程,透過計算資源規格的排程策略化,提升計算資源的使用率和計算例項的橫向擴充套件性,降低資源建設的成本。
提升模型生成和應用的開放程度,使業務化建模平臺具有更強的相容性和通用性
相容性和通用性將增強業務化建模平臺與外部平臺的互動能力,從而拓展業務化建模平臺的使用場景。透過開放模型倉庫,標準化模型應用的接入規範,可以將外部的模型納入到業務化建模平臺中進行訓練和應用;同時,加強模型的遷移性,透過開放模型倉庫對外提供模型的共享使用。