大資料時代，資料已成為國家基礎性戰略資源。如何挖掘資料無窮潛力，將算力推至極致，是整個社會面臨的難題。
Apache Flink 作為業界公認的領先的大資料計算引擎，不僅僅侷限於做流處理，而是一套兼具流、批、機器學習等多種計算功能的大資料引擎。從2015年承載搜尋和推薦實時化開始，近年來 Flink 已經覆蓋實時數倉、機器學習、風控等多個實時計算場景。不僅擁有全球領先的實時計算規模，Flink 還可以提供高吞吐低延時的優異實時計算能力，支援海量資料的亞秒級快速響應，能夠幫助企業和開發者迅速實現資料算力升級。
更好地釋放 Flink 的強大算力，需要解決哪些問題？如何進行技術選型？針對業務的特點如何進行相應改進? 實踐過程中需要規避哪些坑?
12月13-15日，Flink Forward Asia 2020 線上峰會核心技術專場，來自阿里巴巴、位元組跳動、美團、領英、騰訊、第四正規化先知等多位 Apache Flink 核心貢獻者與一線技術專家解析 Flink 技術動向與應用實踐，迴歸技術本質，打造 Flink 全方位技術盛宴，分享生產環境實戰經驗總結。
超大規模 Flink 排程最佳化**胡偉華 | 位元組跳動基礎架構工程師辛朝暉 | 位元組跳動基礎架構工程師**
在位元組跳動內部，隨著計算規模和單個作業併發度的增加，原有的 Flink 排程模式不能再滿足。
首先在大規模叢集下單機故障是不可避免的，我們需要黑名單機制來規避故障節點；其次作業規模增加導致啟動時間增加，進而導致資料斷流時間增加；最後在資源排程方面，希望 container 分佈均勻，避免造成單機負載過高；希望分配後機器 quota 均衡避免碎片；還有就是排程時儘可能避開高 load 節點。
本次分享將介紹我們在 Flink 層面的最佳化以及 YARN 針對 Flink 做的最佳化。
1.黑名單機制2.作業啟動速度最佳化3.Yarn Container 均衡排程、特性排程、反排程等
Single Task Failover and Regional Checkpoint廖嘉逸 | Apache Flink Contributor，位元組跳動基礎架構工程師
在大規模實時計算場景下，環境不穩定對作業帶來的影響不可忽視。在位元組跳動內部，單點恢復幫助上千個雙流 Join 作業保證了穩定的樣本輸出，Regional Checkpoint 為資料整合作業提供了 Checkpoint 成功率的保障。本次演講將從原理、痛點、改進以及收益等方面分享這兩個功能。
1.業務在 Failover 以及 Checkpoint 上遇到的痛點2.Flink 中網路傳輸以及 Checkpoint 機制及缺陷3.單點恢復和 Regional Checkpoint 改進方案及收益4.Checkpoint 其他的最佳化
Flink State Backend Improvements and Evolution in the Recent Year李鈺 | Apache Flink & Apache HBase PMC Member，阿里巴巴實時計算儲存引擎團隊負責人唐雲 | Apache Flink Committer，阿里巴巴高階開發工程師
本次分享主要介紹 Flink 社群最近一年在 State Backend 方面的發展和改進，包含 State Backend 記憶體管理、RocksDB 生產可用性增強等一系列內容。
Flink 如何實時分析 Iceberg 資料湖的 CDC 資料李勁松 | Apache Flink & Iceberg Committer，阿里巴巴技術專家胡爭 | Apache HBase PMC，Apache Iceberg Committer，阿里巴巴技術專家
大型企業一般都有海量的結構化資料儲存在 MySQL 這樣的關係型資料庫中，採用離線批處理分析的方式已經無法提供更好的實時性。在雲服務的大浪潮之下，資料湖也正在成為一個越來越熱門的技術方向。
那麼，我們如何在資料湖架構下為 CDC 資料提供更佳的實時性呢？本次分享將介紹我們如何基於 Flink+Iceberg 技術架構來構建實時的 CDC 資料湖。分享主要分為以下幾點：
1.處理 CDC 資料有何難點？業界常見的方案有哪些？2.我們為什麼選擇 Apache Iceberg ? Apache Flink 處理 CDC 資料有何優勢？3.我們如何實現 CDC 資料的寫入和分析實時化？4.總結及未來規劃。
基於 Flink DataStream API 的流批一體處理馬國維 | Apache Flink Contributor ，阿里巴巴實時計算執行引擎團隊負責人高贇 | Apache Flink Contributor，阿里巴巴技術專家
本次議題主要介紹 Flink 1.12 在流批一體的 DataStream API 方面所取得的進展，主要包括兩部分：
1.流批一體的 DataStream API 語義：如何在同一套介面中相容流和批的語義。2.流批一體的 Runtime 的實現：Flink Runtime 在排程、Shuffle、Connector 和運算元等各方面為流和批兩種執行模式提供了統一的支援。
Flink SQL 在位元組跳動的最佳化&實踐**李本超 | Apache Flink Committer，位元組跳動架構研發工程師**1.介紹 Flink SQL 在位元組跳動落地的過程2.介紹位元組跳動內部對於 Flink SQL 的一些擴充套件和最佳化擴充套件支援多種 connector/formatswindow 支援 mini batchTemporal table function 支援 DDL、left outer join、慢流 watermark 更新延遲維表 join新增聚合指標允許從 checkpoint 恢復支援 codegen 程式碼生成自動 split 超過64k長度的程式碼3.介紹位元組跳動基於 Flink SQL 的批流統一的探索4.介紹位元組跳動基於 Flink SQL 提供的實時計算平臺
Flink 1.12 資源管理新特性宋辛童 | Apache Flink Committer，阿里巴巴技術專家郭暘澤 | Apache Flink Contributor，阿里巴巴高階開發工程師
本次演講中，我們將介紹 Flink 1.12 中資源管理方面的新特性。包括：託管記憶體的使用方法（RocksDB、Python、內建 Batch 演算法）、資源排程策略最佳化、擴充套件資源支援（GPU、FPGA）。
我們將介紹這些新特性的適用場景及使用方法，並進行 demo 演示。在演講的最後，我們還將簡要介紹 Flink 社群對未來版本中資源管理方面新特性的規劃。
基於 LLVM 的高效能 Flink Native 執行引擎應用實踐陳迪豪 | 第四正規化先知平臺架構師
介紹基於 C++ 和 LLVM 實現的高效能 Flink Native 執行引擎，相比於 Flink 原生 Java 和 Scala 的物理計劃實現，在 Flink SQL 部分場景達到驚人的60倍效能提升，對於離線不支援的 SQL 語法如 over window 等也能拓展支援。基於超高效能的 Native 執行引擎，介紹 Flink 在企業機器學習場景的落地與實踐。
美團 Flink 可用性建設實踐孫夢瑤 | 美團高階開發工程師
基於美團的實際需求與實踐，對“可用性”概念在實時計算領域的意義與基本定義進行探討，介紹美團在 Flink 可用性建設上的解決方案與實踐經驗。具體分為：
1.可用性對實時計算的意義；2.實時作業可用性定義與衡量；3.Flink 在容錯容災上的設計；4.可用性最佳化方案與實踐。
PyFlink 核心技術剖析及應用付典 | Apache Flink PMC member, 阿里巴巴技術專家
本次演講全面剖析 PyFlink 的核心技術，涉及到 PVM 如何與 JVM 進行通訊，PyFlink 如何基於 Apache Beam 構建 Python UDF 的支援，PyFlink 與 Pandas 的集成核心細節，以及 PyFlink 在 1.12 與大家見面的新功能，包括 Python DataStream API，process function，Timer 等的具體功能應用。
Flink SQL 的功能擴充套件與深度最佳化杜立 | 騰訊資深工程師
隨著Apache Flink在近幾年的加速發展，越來越多的使用者已將Apache Flink作為實時資料處理引擎的首選。Flink SQL作為Apache Flink的核心模組之一，極大降低了不同背景的使用者在接入和使用Flink時的門檻。騰訊在內部應用過程中，針對現有的Flink SQL功能進行了大量的擴充套件與最佳化，包括基於Table Valued Function語法擴充套件在Window運算元上更復雜的操作、Flink Retraction機制最佳化，等。該演講將重點與聽眾分享這些擴充套件與最佳化的實現思路與技術細節，介紹騰訊內部的實踐情況，以及現有的挑戰與未來的規劃。
從 Spark 做批處理到 Flink 做批流一體：LinkedIn 的經驗張晨婭 | LinkedIn 高階研發工程師
為什麼要做批流一體？我們從使用者和運維角度出發希望進一步提高生產和工程效率。我們挑選了兩類生產實踐的重要場景進行評估，一個是機器學習的特徵生成，一個是複雜資料工作流。其中著重對比分析了 Spark 和 Flink 做批處理的遷移難度、使用者體驗和工程表現。同時根據領英目前 Spark 做批處理的使用情況和特點，我們針對Spark 和 Flink 兩個框架的資源排程和利用情況進行了分析比較，也提出關於 shuffle service 的幾點建議。
以上為 Flink Forward Asia 2020 線上峰會核心技術專場內容節選，全球 38+ 一線廠商，70+ 優質議題，我們在 Flink Forward Asia 線上峰會等你～
原文連結：https://developer.aliyun.com/article/780121