簡介: 2020年註定是不同尋常的,突如其來的疫情按下了人們生活的暫停鍵。對於使用者激增的App而言有喜有憂,如何快速沉澱資料資產,因為疫情是脈衝式的需求,等疫情結束之後,如何把這些激增的使用者轉化為留存是很大的挑戰。對於非利好的App,如何讓資料成為護城河。回答這兩個問題,資料智慧平臺的建設尤其重要。
背景從友盟+公開的移動網際網路資料報告來看,疫情期間移動網際網路裝置活躍度穩步提升。其中游戲行業增幅15%,是2019年的2倍;影視增幅8%,是去年的3倍左右;辦公通訊上漲明顯,增幅150%,網上藥店活躍裝置增幅由負轉正,增幅61%;旅遊與汽車的降幅是去年的3-4倍,分別下跌55%及29%。
疫情後的機會點:1.拉新變留存。對於使用者激增的App而言有喜有憂,因為疫情是一個脈衝式的需求,等疫情結束之後,如何把這些激增的使用者轉化為留存是一個很大的挑戰。實時化的資料資產的沉澱成為挑戰。這時候需要修煉好資料的內功,重視資料資產的沉澱,運營好自己的私域資料池。
2.智慧化運營。有的資料的底料,我們可以更加的進行精細化的一些運營。比如分層運營,智慧營銷,實現業務的資料化,並且讓資料指導業務的發展提供前提。
3.練好資料的內功。建設資料智慧平臺。資料也是資產,資料智慧平臺的建設,好比把礦石煉成98號的汽油,再通過清潔的能源向業務不斷賦能的過程。
什麼是資料智慧平臺資料智慧研發平臺,是基於資料基礎能力,打造專業、高效、安全的一站式智慧研發平臺。支援實時與離線資料整合、開發運維、工作流排程、資料品質、資料安全的全鏈路資料管理,滿足資料治理、資料血緣、資料品質、安全管控,標籤應用的需求。
面臨的挑戰挑戰主要集中在4個方面,從算力、資料、演算法以及業務:
基礎設施的建設不是一觸而就的,需要大量的人力物力財力。主要是機房、機架、網路、頻寬。資料分成兩個部分,基礎資料以及標籤的資料,那麼基礎資料存在的問題是缺乏統一的建設標準以及品質的評估。我們知道歐盟有很多的成員國,成員國之前是各自發行貨幣的,不利於整體經濟的發展。資料也是一樣,需要同樣的標準去建設,促進資料的一個流通,這是基礎資料存在的問題。對於標籤資料而言,我們的生產管理服務應用整個鏈路是斷裂的,無法最大的提高一個標籤生產的效率。演算法工程上,煙囪式的垂直類的一個開發,比如說廣告和搜尋,它在特徵到工程上面都是重複開發的。業務上,資料的建設週期比較長,趕不上業務的一個發展。體系介紹底料篇以友盟+為例。經過了9年專業的大資料的服務,積累下了PC網站的 APP的資料以及廣告監測類的資料。面臨的一個問題,如何把大體量的資料穩定高品質的同步到計算平臺,自研的一鍵的資料同步的工具,打通業務系統到大資料之間的元資料平臺,同時業務系統的增刪改也會通知到大資料測,
** 建設篇:**
公共資料中心的建設,核心是為了解決指標一致性的問題
按業務域和分析維度構建公共資料中心。什麼叫業務板塊?比如亞馬遜,它是有電商和雲兩塊業務的,那麼這兩塊業務其實就是業務板塊,我們一個抽取電商業務來看,有日誌、交易、物流、廣告等最基礎的一些資料組成,這就叫做資料域。資料域是業務過程的集合,以交易為例,分付款,退拍下和退款,這三個業務過程共用的一個訂單ID,所以在一張事實表裡。交易的過程有維度刻畫,有商品、買家、賣家這些維度構成了維表,比如買家的暱稱、註冊的時間。維表冗餘在實時表中的好處是減少大資料量的join,保證資料的穩定高效的產出。通過建設可以讓由礦石變成92號的汽油,這個時候資料就可以被使用了,這是基礎資料建設的部分。
所有的運營產品、市場等業務的同學使用的資料全部叫做指標,這些指標全部是派生指標。跟大家一起拆解一個指標,叫最近30天會員在無線端的登入次數,那麼最近30天就是時間週期,會員是統計粒度,統計粒度對應的最左邊的維度資訊。無線端就是業務限定,登入的次數就是原子指標。登入次數加業務限定就等於上面圖表中最左邊的業務過程。那這個指標拆解的過程怎麼去對映到我們的技術資料,怎麼關聯呢?
再舉兩個例子。很多人可能簡單自學SQL後,就可以自己跑資料:通常情況下,SQL品質無法保證,如果查詢的資料量非常大,可能後臺幾千臺機器就轉起來了。為避免類似情況發生,我們會在提交任務過程中做程式碼校驗,對於效能問題、規範問題、程式碼品質問題都會給出必要的提示,比如SQL程式碼對於除數為0沒有做程式碼相容,比如我們的DDL語句中沒有做資料生命週期的設定,比如SQL的QUERY中沒有做分割槽的條件限制,甚至你的SQL程式碼別人已經計算過,可以複用結果不需要重新計算這些問題,我們都會給出精確到提示。
在資料研發過程中,程式碼編寫可能只佔工作量的20%,那麼大部分時間都去幹嗎了?是資料驗證,程式碼修改前和程式碼修改後,資料到底差多少,差在哪兒?過去如果沒有工具只能寫一堆指令碼,再去驗證,效率極其低下,而且極易出錯。現在有了“資料對比”工具,就可以通過簡單的勾勾選選知道前後差異到底在哪?然後迅速給測試報告,保證整個研發過程的資料品質是有保障的。有了工具的建設,最後是運維。核心是要用最優的資源保障最重要的資料及時的產出。
以IP to 地域為例,有閱讀類的App做本地的資訊,這個服務在市場上面是很普遍的,但準確度只能做到65%;再以遊戲App為例,比如說品牌/機型代表購買力,螢幕/記憶體容量供開發者優化迭代產品。這些引數要是開發者去採集的話,會遇到特別多的問題,比如手機機型是0011X, 0011X代表iPhone11,那麼集合於這兩類的需求,這個時候就需要運用全域資料的能力,在高維的空間精準識別匹配資訊。
反作弊篇
整個過程的反作弊怎麼做?比如有一款視訊類的App在做使用者分層,一共5層,大多數精細化運營同學都會這麼去做。第1層是超級使用者,第2層是黑產裝置。作弊資料對標籤也是一種噪聲,對於簡單的機刷,用規則就可以識別出來。比如IP的黑名單庫,裝置的黑名單庫。但是隨著這些技術的日新月異,對於模擬器而言,要採用機器學習的方式,從行為資料中加以判斷。還有種是“群控”,也就是羊毛黨。第3層--第5層分別是高品質、中品質和低品質。
規則,IP的黑名單庫,裝置的黑名單庫。對於模擬器,採用機器學習的方式,從行為資料中加以判斷,對於群控羊毛黨採用圖演算法。多管齊下,濾掉86%的一個假量。
與此同時,網際網路和傳統行業一樣都會存在著資料的孤島,因為我們現在客戶的觸點是非常多的,比如說有傳統的PC網站,有App,有小程式。在跨端上面,比如兩個小程式,A上使用者少,成交率高;B上使用者多,成交率低,要進行跨端的資料的運營。有PC和無線資料,PC上面點了一個商品,App上把相應商品或者相應的文章來推薦給使用者,這樣來看使用者的留存將會得到極大的一個提升。裝置聚合的主要場景是看小程式和App一共有多少使用者。
標籤篇標籤是通過行為分析認知使用者的一個過程。是資料分析的一個起點,比如最近30天來過北京2次的人群,只要有業務價值,它就是一個標籤。標籤的分類,分有統計性和預測性,區別在統計型標籤不需要樣本集和準確度。那標籤有什麼作用呢?
一、市場細分和使用者分群:市場營銷領域的重要環節。比如在新品釋出時,定位目標使用者,切分市場。這是營銷研究公司會經常用的方式。
二、資料化運營和使用者分析。後臺PVUV留存等資料,如果能夠結合使用者畫像一起分析就會清晰很多,揭示資料趨勢背後的祕密。
三、精準營銷和定向投放。比如某產品新款上市,目標受眾是白領女性,在廣告投放前,就需要找到符合這一條件的使用者,進行定向廣告投放。四、各種資料應用:例如推薦系統、預測系統。我們認為:未來所有應用一定是個性化的,所有服務都是千人千面的。而個性化的服務,都需要基於對使用者的理解,前提就需要獲得使用者畫像。
常用的一些標籤體系(以下均為大資料預測結果):第一類:人口屬性。比如說性別、年齡、常駐地、籍貫,甚至是身高、血型,這些東西叫做人口屬性。
第二類:社會屬性。因為我們每個人在社會裡都不是一個單獨的個體,一定有關聯關係的,如婚戀狀態、受教育程度、資產情況、收入情況、職業,我們把這些叫做社會屬性。
第三類,興趣偏好。攝影、運動、吃貨、愛美、服飾、旅遊、教育等,這部分是最常見的,也是最龐大的,難以一一列舉完。
第四類,意識認知。消費心理、消費動機、價值觀、生活態度、個性等,是內在的和最難獲取的。舉個例子,消費心理/動機。使用者購物是為了炫耀,還是追求品質,還是為了安全感,這些都是不一樣的。如何判斷標籤體系的好壞?
在實際構建標籤體系時,大家經常會遇到很多困惑,我列舉5個常見問題:
第一、怎樣的標籤體系才是正確的?其實每種體系各有千秋,要結合實際應用去評估。
第二、標籤體系需要很豐富麼?標籤是列舉不完的,可以橫線延展、向下細分。也可以交叉分析,多維分析。如果沒有自動化的方式去挖掘,是很難做分析的,太多的標籤反而會帶來使用上的障礙。
第三、標籤體系需要保持穩定麼?不是完全必要,標籤體系就是產品/應用的一部分,要適應產品的發展,與時俱進。比如, “新冠”這個詞,今天卻很熱。我們是不是要增加一個標籤,分析哪些人有購買新冠相關的防疫藥品。 有一種情況下,標籤要保持穩定。如果你生產的標籤有下游模型訓練的依賴,即我們模型建完後,它的輸入是要保持穩定的,不能今天是ABC,明天是BCD。在這種情況下,是不能輕易對標籤體系做更改的。
第四個,樹狀結構or網狀結構?樹狀結構和網狀結構從名字上就可以看出其分別。網狀結構,更符合現實,但是層次關係很複雜,對資料的管理和儲存都有更高要求。知乎,如果仔細去看它的話題設定,其實是網狀的。
網狀的特點就是一個子話題,父級可以不止一個,可能有兩個。比如兒童玩具,既可以是母嬰下分分類,也可以是玩具下的分類,它就會存在兩個父節點之下。樹狀結構相對簡單,也是我們最常用的。網狀結構在一些特定場景下,我們也會去用。但是實現和維護的成本都比較高。比如,有一個節點是第四級的,但它的兩個父節點一個是二級,一個是三級,結構異化帶來處理上的麻煩。
第五個,何為一個好的標籤體系?應用為王,不忘初心。標籤是為了用的,並不是為了好玩,最好保證標籤體系的靈活和細緻性。
智慧篇:資料智慧的建設指分析、洞察、策略、效果的工程化能力,有了這些智慧的工程化能力,就能通過引擎向外暴露介面的方式來支援百花齊放的業務,支援所有開發者的業務,這就是友盟+採建管用一站式服務平臺的整個建設過程,開發者可以藉此為例,快速自建、或依靠友盟+的技術能力,豐富自己的資料智慧平臺/資料銀行的建設。
規劃和感想第一,快速建模的能力。實時自動的標籤產出,或者結合業務場景的實時化,能最大保障智慧化運營的及時性;第二,不能只說這個使用者對汽車感興趣,而是需要細分到車型、價位,甚至他去買車時,會關注駕駛乘坐的舒適性、操控的靈活性,還是內飾的細節。