首頁>科技>

本文主要介紹:Flink 的主要應用場景。

Flink 主要應用場景有三類:

1.Event-driven Applications【事件驅動】

2.Data Analytics Applications【分析】

3.Data Pipeline Applications【管道式ETL】

Event-driven Applications

上圖包含兩塊:Traditional transaction Application(傳統事務應用)和Event-driven Applications(事件驅動應用)。

Traditional transaction Application執行流程:比如點選流Events可以通過Application寫入Transaction DB(資料庫),同時也可以通過Application從Transaction DB將資料讀出,並進行處理,當處理結果達到一個預警值就會觸發一個Action動作,這種方式一般為事後諸葛亮。

Event-driven Applications執行流程:比如採集的資料Events可以不斷的放入訊息佇列,Flink應用會不斷ingest(消費)訊息佇列中的資料,Flink 應用內部維護著一段時間的資料(state),隔一段時間會將資料持久化儲存(Persistent sstorage),防止Flink應用死掉。Flink應用每接受一條資料,就會處理一條資料,處理之後就會觸發(trigger)一個動作(Action),同時也可以將處理結果寫入外部訊息佇列中,其他Flink應用再消費。

典動類應用:

1.欺詐檢測(Fraud detection)

2.異常檢測(Anomaly detection)

3.基於規則的告警(Rule-based alerting)

4.業務流程監控(Business process monitoring)

5.Web應用程式(社交網路)

Data Analytics Applications

Data Analytics Applications包含Batch analytics(批處理分析)和Streaming analytics(流處理分析)。

Batch analytics可以理解為週期性查詢:比如Flink應用凌晨從Recorded Events中讀取昨天的資料,然後做週期查詢運算,最後將資料寫入Database或者HDFS,或者直接將資料生成報表供公司上層領導決策使用。

Streaming analytics可以理解為連續性查詢:比如實時展示雙十一天貓銷售GMV,使用者下單資料需要實時寫入訊息佇列,Flink 應用源源不斷讀取資料做實時計算,然後不斷的將資料更新至Database或者K-VStore,最後做大屏實時展示。

Data Pipeline Applications

Data Pipeline Applications包含Periodic (週期性)ETL和Data Pipeline(管道)

Periodic ETL:比如每天凌晨週期性的啟動一個Flink ETL Job,讀取傳統資料庫中的資料,然後做ETL,最後寫入資料庫和檔案系統。

Data Pipeline:比如啟動一個Flink 實時應用,資料來源(比如資料庫、Kafka)中的資料不斷的通過Flink Data Pipeline流入或者追加到資料倉庫(資料庫或者檔案系統),或者Kafka訊息佇列。

阿里Flink應用場景

阿里在Flink的應用主要包含四個模組:實時監控、實時報表、流資料分析和實時倉庫。

實時監控:

使用者行為預警、app crash 預警、伺服器攻擊預警對使用者行為或者相關事件進行實時監測和分析,基於風控規則進行預警

實時報表:

雙11、雙12等活動直播大屏對外資料產品:生意參謀等資料化運營

流資料分析:

實時計算相關指標反饋及時調整決策內容投放、無線智慧推送、實時個性化推薦等

實時倉庫:

資料實時清洗、歸併、結構化數倉的補充和優化

欺詐檢測

總結

假設你是一個電商公司,經常搞運營活動,但收效甚微,經過細緻排查,發現原來是羊毛黨在薅平臺的羊毛,把補給使用者的補貼都薅走了,錢花了不少,效果卻沒達到。

怎麼辦呢?你可以做一個實時的異常檢測系統,監控使用者的高危行為,及時發現高危行為並採取措施,降低損失。

系統流程:

1.使用者的行為經由app 上報或web日誌記錄下來,傳送到一個訊息佇列裡去;

2.然後流計算訂閱訊息佇列,過濾出感興趣的行為,比如:購買、領券、瀏覽等

3.流計算把這個行為特徵化;

4.流計算通過UDF呼叫外部一個風險模型,判斷這次行為是否有問題(單次行為);

5.流計算裡通過CEP功能,跨多條記錄分析使用者行為(比如使用者先做了a,又做了b,又做了3次c),整體識別是否有風險;

6.綜合風險模型和CEP的結果,產出預警資訊。

最新評論
  • 整治雙十一購物亂象,國家再次出手!該跟這些套路說再見了
  • 過去十年中國最受歡迎App排行榜,微信只排名第三