|
一、流式處理架構(gòu)
|
1.1 流式處理背景及架構(gòu)介紹
1.2 流式處理行業(yè)案例以及Flink的適用場(chǎng)景及應(yīng)用概述
|
|
二、Flink概述
|
2.1 什么是Flink
2.2 Flink架構(gòu)
2.3 Flink 與 Spark的比較以及為什么選擇Flink
2.4 Flink開(kāi)發(fā)環(huán)境配置和搭建
|
|
三、Flink編程模型
|
3.1 數(shù)據(jù)集類型
3.2 Flink編程接口
3.3 Flink程序結(jié)構(gòu)
3.4 Flink數(shù)據(jù)類型
|
|
四、DataStream API介紹與使用
|
4.1 DataStream編程模型
4.2 Flink Execution 參數(shù)
4.3 Transformation
4.4 時(shí)間概念與Watermark
4.5 Windows窗口計(jì)算
4.6 作業(yè)鏈和資源組
4.7 Asynchronous I/O異步API
4.8 Asynchronous I/O異步原理
|
|
五、Flink流式計(jì)算基本概念介紹
|
5.1 時(shí)間特性：Event Time / Processing Time / Ingestion Time
5.2 WaterMark
5.3 Source/Sink/Operator
5.4 數(shù)據(jù)完整性語(yǔ)義
5.5 State/Checkpoint/Savepoint
5.6 Time window
|
|
六、Flink Connector數(shù)據(jù)源
|
6.1 FlinkKafkaSource序列化、消費(fèi)模式
6.2 FlinkKafkaSource容錯(cuò)、動(dòng)態(tài)分區(qū)及topic
6.3 FlinkKafkaSink序列化、配置、分區(qū)與容錯(cuò)
6.4自定義Source和Sink
|
|
七、DataSet API介紹與使用
|
7.1 DataSet API，Transformation
7.2 迭代計(jì)算
7.3 廣播變量與分布式緩存
7.4 語(yǔ)義注解
7.5 DataSetUtils工具類
|
|
八、Table API & SQL介紹與使用
|
8.1 基本概念
流/表對(duì)偶性
Source/Sink Table
數(shù)據(jù)回撤
8.2 Flink Table API
8.3 Flink SQL使用
Flink SQL client
Flink SQL 已支持特性
8.4 自定義函數(shù) UDF/UDTF/UDAF
|
|
九、兩個(gè)完整的Flink實(shí)現(xiàn)案例
|
9.1 Kafka 數(shù)據(jù)流處理，寫(xiě)入HDFS
9.2多源數(shù)據(jù)關(guān)聯(lián)與聚合分析
|
|
十、Flink有狀態(tài)的計(jì)算、狀態(tài)管理和容錯(cuò)
|
10.1 什么是有狀態(tài)計(jì)算
10.2 有狀態(tài)計(jì)算中的數(shù)據(jù)一致性挑戰(zhàn)
10.3 理解state狀態(tài)
10.4 Operator State 的使用及Redistribute
10.5 Keyed State的使用與Redistribute
10.6 Broadcast State的妙用
10.7 Checkpoint核心原理剖析
10.8 Checkpoint使用條件及使用步驟
10.9 Checkpoint相關(guān)配置及重啟策略
10.10 Savepoint的觸發(fā)、Job恢復(fù)及刪除
|
|
十一、實(shí)戰(zhàn)項(xiàng)目1：用Flink實(shí)現(xiàn)一個(gè)通用、配置化的海量數(shù)據(jù)流、批處理產(chǎn)品
|
11.1實(shí)現(xiàn)配置管理
11.2實(shí)現(xiàn)數(shù)據(jù)源加載
11.3實(shí)現(xiàn)主流程控制
11.4實(shí)現(xiàn)任務(wù)管理
|
|
十二、Flink部署與應(yīng)用
|
12.1 Flink集群部署
12.2 Flink高可用配置
12.3 Flink安全管理
12.4 Flink集群升級(jí)
12.5 Flink on Yarn的原理和運(yùn)行方式
12.6 Flink on Yarn 提交任務(wù)與停止任務(wù)
|
|
十三、Flink監(jiān)控與性能優(yōu)化
|
13.1 監(jiān)控指標(biāo)
13.2 Backpressure監(jiān)控與優(yōu)化
13.3 Checkpointing監(jiān)控與優(yōu)化
13.4 Flink內(nèi)存優(yōu)化
|
|
十四、Flink組件棧介紹與使用
|
14.1 Flink復(fù)雜事件處理
14.2 Flink Gelly圖計(jì)算應(yīng)用
14.3 FlinkML機(jī)器學(xué)習(xí)應(yīng)用
14.4 Flink Metrics 與監(jiān)控
|
|
十五、Flink源碼學(xué)習(xí)
|
15.1 Flink源碼編譯
15.2 如何閱讀和學(xué)習(xí)Flink源碼
15.3 Flink源碼實(shí)現(xiàn)思路以及依賴管理
15.4 Flink核心模塊源碼帶讀與分析
|
|
十六、Flink在各大互聯(lián)網(wǎng)公司的典型應(yīng)用剖析
|
16.1Flink在阿里的應(yīng)用
16.2Flink在字節(jié)跳動(dòng)的應(yīng)用
16.3Flink在騰訊的應(yīng)用
16.4Flink在微博的應(yīng)用
16.5Flink在其他互聯(lián)網(wǎng)公司的應(yīng)用
16.6Flink 最佳實(shí)踐
|
|
十七、實(shí)戰(zhàn)項(xiàng)目2：使用Flink實(shí)現(xiàn)電商用戶支付行為分析和審計(jì)風(fēng)控
|
17.1電商支付數(shù)據(jù)模型（訂單，流水，賬戶余額，發(fā)現(xiàn)表）
17.2用戶行為分析需求與維度指標(biāo)設(shè)計(jì)
17.3審計(jì)風(fēng)控的需求與實(shí)現(xiàn)思路
17.4Flink代碼實(shí)現(xiàn)結(jié)構(gòu)與業(yè)務(wù)邏輯細(xì)節(jié)拆解
|
