| 一、云計(jì)算 |
云計(jì)算架構(gòu)概覽
云計(jì)算能帶來(lái)什么好處
云計(jì)算之虛擬機(jī)
云計(jì)算之大數(shù)據(jù)
經(jīng)典的使用案例 |
| 二、大數(shù)據(jù)之分布式存儲(chǔ) |
分布式存儲(chǔ)-HDFS
大數(shù)據(jù)的好處
大數(shù)據(jù)的核心架構(gòu)
企業(yè)使用大數(shù)據(jù)的案例
什么是分布式文件系統(tǒng)和HDFS
HDFS設(shè)計(jì)目標(biāo)
HDFS的基本組件
HDFS架構(gòu)圖和工作原理
HDFS服務(wù)進(jìn)程詳解
HDFS的未來(lái)發(fā)展
NameNode詳解
DataNode詳解
HDFS副本備份策略 |
| 三、分布式存儲(chǔ)實(shí)戰(zhàn) |
HDFS實(shí)戰(zhàn)-命令行等使用
- HDFS安裝須知
- HDFS命令行工具
- 啟動(dòng)、停止HDFS服務(wù)
- 如何查看HDFS日志
- 如何查看HDFS Web控制臺(tái)
- HDFS參數(shù)配置
- 上機(jī)練習(xí) HDFS實(shí)戰(zhàn)-Java API使用
- Eclipse 開(kāi)發(fā)環(huán)境介紹
- HDFS 開(kāi)發(fā)基本步驟
- HDFS Java API詳解 oConfiguration
oPath
oFileSystem
oStream、IOUtils
- HDFS Java API使用場(chǎng)景示例
- FuseHDFS
- WebHDFS RESTful API
上機(jī)練習(xí)
|
| 四、大數(shù)據(jù)之分布式計(jì)算 |
什么是MapReduce
MapReduce服務(wù)
MapReduce服務(wù)
MapReduce作業(yè)執(zhí)行流程
MapReduce錯(cuò)誤處理機(jī)制
MapReduce高級(jí)特性
MapReduce任務(wù)調(diào)度
MapReduce任務(wù)調(diào)度 |
| 五、分布式計(jì)算實(shí)戰(zhàn) |
MapReduce命令行使用
- 啟動(dòng)、停止MapReduce服務(wù)
- 查看MapReduce日志
- 查看MapReduce控制臺(tái)
- MapReduce參數(shù)配置
MapReduce 編程實(shí)戰(zhàn)
- MapReduce框架類庫(kù)介紹
- 開(kāi)發(fā)MapReduce程序步驟
- WordCount流程分解
- WordCount代碼分析
- 上機(jī)練習(xí) Hadoop IO 框架
- 為什么要學(xué)習(xí)Hadoop I/O框架
- 序列化
- SequenceFile
- MapFile
- 數(shù)據(jù)完整性
- 數(shù)據(jù)壓縮 上機(jī)練習(xí)
|
| 六、大數(shù)據(jù)之?dāng)?shù)據(jù)倉(cāng)庫(kù)-Ｈive |
什么是Hive？
Hive的架構(gòu)原理
如何利用Hive來(lái)建造數(shù)據(jù)倉(cāng)庫(kù)？
Hive的使用
HQL的調(diào)優(yōu)：
操作練習(xí) |
七、大數(shù)據(jù)之NOSQL-Ｈbase
|
什么是Hbase？
- Hbase的架構(gòu)原理
- Hbase核心知識(shí)點(diǎn)
- HBase列族與列
- HBase時(shí)間戳
- HBase物理模型
- 數(shù)據(jù)存儲(chǔ)結(jié)構(gòu):LSM
- HBase Log
- HBase Filter HBase安裝
配置與優(yōu)化
表設(shè)計(jì)與相關(guān)參數(shù)
操作練習(xí)
|
| 八、大數(shù)據(jù)之內(nèi)存計(jì)算-Spark |
Spark架構(gòu)介紹
Scala介紹
Mesos介紹
Spark介紹
Spark原理及架構(gòu)剖析
Spark RDD計(jì)算模型解析
Spark的任務(wù)執(zhí)行機(jī)制解析
Spark的調(diào)試與任務(wù)分配
Spark的容錯(cuò)機(jī)制剖析
Spark集群部署
- Standalone
- 集群分布式
- 與HDFS結(jié)合 Spark Shell命令行分析
構(gòu)建與運(yùn)行Spark應(yīng)用
Spark RDD操作方法解析
Spark作業(yè)測(cè)試解析
Spark的性能調(diào)優(yōu)
Spark生態(tài)體系剖析
- SPARK SQL
- SPARK ML
- SPARK Streaming
Spark應(yīng)用實(shí)踐
|
| 九、大數(shù)據(jù)之資源管理-Yarn |
Yarn 與MapReduce的不同
Yarn 原理與架構(gòu)
Apache YARN基本框架
Apache YARN工作流程
Apache YARN設(shè)計(jì)細(xì)節(jié)
Yarn 核心技術(shù)模塊原理解析
- Yarn ResouceManager原理解析
- Yarn NodeManager 原理解析
- Yarn ApplicationMaster MapReduce與YARN結(jié)合
如何與Yarn來(lái)結(jié)合
Yarn 配置及搭建
|
| 十、大數(shù)據(jù)之分析腳本工具-Pig |
Pig基礎(chǔ)
使用Pig進(jìn)行簡(jiǎn)單數(shù)據(jù)分析
使用Pig處理復(fù)雜數(shù)據(jù)
使用Pig分析處理多數(shù)據(jù)集
擴(kuò)展Pig
Pig排錯(cuò)和優(yōu)化 |
| 十一、數(shù)據(jù)安全 |
安全體系圖
應(yīng)用安全、數(shù)據(jù)安全
多級(jí)認(rèn)證體系
產(chǎn)品安全思路
學(xué)員實(shí)際演練與老師現(xiàn)場(chǎng)指導(dǎo) |
| 十二、云計(jì)算運(yùn)維體系 |
云計(jì)算運(yùn)維體系架構(gòu)圖
服務(wù)可靠性
提高服務(wù)質(zhì)量
降低服務(wù)成本
現(xiàn)場(chǎng)演示：實(shí)際項(xiàng)目中云計(jì)算運(yùn)維體系架構(gòu)圖。 |
| 十三、大練習(xí)：以實(shí)際項(xiàng)目案例為基礎(chǔ) |
進(jìn)行云計(jì)算分布式架構(gòu)的設(shè)計(jì)思路和流程實(shí)際演練。
（此內(nèi)容是本課程的重點(diǎn)內(nèi)容，課程壓軸大作，從而 使云計(jì)算架構(gòu)設(shè)計(jì)最終落地） |
