| 實時計算原理與架構概覽 |
| 實時計算架構概覽 |
結合實際大數據應用案例講解：
- 什么是實時計算
- 為什么需要實時計算
- 實時計算需要考慮哪些技術能力 實時計算的當前的典型參考技術架構
流式計算對實時計算的支持。
|
| 實時計算系統(tǒng)架構解析 |
分布式實時計算架構藍圖
- 分布式實時計算任務模型的設計與實現：
- map/reduce
- fork/join 分布式計算的數據流緩沖區(qū)
- Kafka分布式消息系統(tǒng)
- Rabbitmq消息系統(tǒng)
- ActiveMQ消息系統(tǒng) 計算節(jié)點的數據流訪問接口
- 遠程調用
- Web服務
- Restful服務 計算服務的適用于管理
- 服務注冊、
- 服務發(fā)現
- 服務訪問 計算任務的調度機制
- 事件驅動的任務處理
- 實時調度管理
- 定時任務管理
|
| 實時計算的技術架構實現 |
| 實時計算的技術參考架構 |
常見的流式計算框架及其原理
- Storm、JStorm、
- Spark Streaming、
- Flink
|
| Storm的體系結構 |
Storm基本原理和基本元素
Storm集群的組成
搭建Storm集群環(huán)境
torm高可用性的實現 |
| 流式計算簡介與環(huán)境準備 |
Storm應用場景與對應的技術方案
準備Storm的實驗環(huán)境 |
| 使用Storm進行流計算 |
Storm Demo演示：Word Count
數據流模型和WordCount的處理過程
Storm的數組分組策略 |
| 開發(fā)Storm程序 |
設計高并發(fā)、高可靠性的Topology
Worker、Task和Excutor的關系
開發(fā)Spout組件
開發(fā)Bolt組件
開發(fā)Topology：本地模式和集群模式
部署并運行Storm任務 |
| 構建高可用的實時計算架構 |
| 通過集群構建高可用性 |
Storm集群在ZK上保存的數據結構
Storm集群任務提交流程
Storm內部通信機制
Storm的異常處理、容錯機制及如何保證數據不重復處理
Storm如何保證可靠性傳輸 |
集成Storm和
Redis |
MemCached和Redis內存數據庫簡介
搭建和使用Redis
集成Storm和Redis |
| 集成Storm：Kafka |
消息系統(tǒng)與Kafka
搭建Kafka消息系統(tǒng)實驗環(huán)境
集成Storm和Kafka |
| 高可用實時計算架構：Storm HA的實現 |
什么是ZooKeeper
搭建ZooKeeper集群及ZooKeeper的特性
使用ZooKeeper實現Storm的HA |
| Spark體系結構和SparkStreaming |
Spark架構原理
解析Spark Streaming
Spark的體系架構與搭建
利用ZooKeeper實現Spark Streaming的HA |
| Spark Streaming原理解析 |
執(zhí)行Spark Streaming程序
Spark Streaming的核心：DStream
開發(fā)Spark Streaming應用程序和窗口操作
Spark Streaming的性能優(yōu)化 |
| 應用實例設計與優(yōu)化 |
| 實時計算在資訊個性化推薦系統(tǒng)中應用實例 |
推薦系統(tǒng)的整體架構和流程
常用的推薦算法
- 基于用戶的協(xié)同過濾算法
- 基于物品的協(xié)同過濾算法
- ALS協(xié)同過濾算法
- 其他算法
|
