| 大數(shù)據(jù)運維概覽 |
大數(shù)據(jù)的運維案例回顧：
大數(shù)據(jù)運維涉及哪些內(nèi)容
大數(shù)據(jù)運維關(guān)注的問題
大數(shù)據(jù)運維平臺的典型架構(gòu) |
| 大數(shù)據(jù)系統(tǒng)核心組件介紹 |
1、集群管理工具—ambari
2、數(shù)據(jù)倉庫—hive
3、分布式計算— MapReduce
4、noSQL數(shù)據(jù)庫—Hbase
5、工作流工具—Oozie
6、數(shù)據(jù)的并行采集—Flume
7、MapReduce腳本工具—Pig
8、與關(guān)系型數(shù)據(jù)庫之間的數(shù)據(jù)遷移—Sqoop
9、資源管理平臺—Yarn
10、數(shù)據(jù)挖掘算法—Mahout
11、分布式統(tǒng)一服務(wù)—Zookeeper
12、流式計算—Strom
13、內(nèi)存計算—Spark
? |
| 性能調(diào)優(yōu)策略實戰(zhàn) |
1、 Linux版本選擇
2、 安裝HDFS系統(tǒng)調(diào)優(yōu)
3、 網(wǎng)絡(luò)優(yōu)化策略
4、 Hdfs優(yōu)化策略
5、 安裝HDFS服務(wù)
6、 HDFS配置參數(shù)介紹
7、 HDFS運維工具介紹
8、 Hbase服務(wù)優(yōu)化
9、 Hbase表設(shè)計
10、 spark服務(wù)介紹 |
| 離線服務(wù)平臺介紹 |
1、 大數(shù)據(jù)平臺架構(gòu)設(shè)計
2、 底層存儲服務(wù)平臺架構(gòu)設(shè)計與應(yīng)用場景
3、 離線計算框架實現(xiàn)對比
4、 元數(shù)據(jù)服務(wù)治理與數(shù)據(jù)生命周期管理
5、 統(tǒng)一調(diào)度平臺設(shè)計
6、海量日志處理架構(gòu)介紹 |
| 業(yè)務(wù)實時監(jiān)控介紹 |
1、 流計算框架服務(wù)介紹
2、 Storm流計算服務(wù)介紹與應(yīng)用場景
3、 Spark Streaming服務(wù)框架介紹與應(yīng)用場景
4、 Flink服務(wù)框架介紹與應(yīng)用場景
5、 流計算案例分享（天貓雙十服務(wù)）
6、 58業(yè)務(wù)數(shù)據(jù)監(jiān)控方案設(shè)計
? |
| Hadoop 集群硬件監(jiān)控 |
1、查看集群狀態(tài)
- HDFS數(shù)據(jù)管理
- Mapreduce 任務(wù)管理
- HDFS安全模式
- 添加刪除節(jié)點
- 數(shù)據(jù)平衡
- 文件數(shù)據(jù)跨集群拷貝
2、 使用Ganglia 監(jiān)控Hadoop集群
3、 使用Cacti 監(jiān)控操作系統(tǒng)
4、 使用Zabbix監(jiān)控
5、 ganglia nagios聯(lián)合使用分析
6、 集群監(jiān)控
7、 服務(wù)監(jiān)控運行的進程監(jiān)控
8、 主機狀態(tài)監(jiān)控
9、 主機磁盤存儲情況監(jiān)控
10、網(wǎng)絡(luò)狀況監(jiān)控
11、ganglia 監(jiān)控
12、zabbix監(jiān)控
13、提供的服務(wù)監(jiān)控監(jiān)控
14、堡壘機監(jiān)控
15、任務(wù)監(jiān)控
16、任務(wù)運行時常、資源數(shù)、讀取數(shù)量、shuffle數(shù)量等
17、按人任務(wù)按部門的任務(wù)匯總
18、隊列監(jiān)控
19、隊列下的任務(wù)運行歷史監(jiān)控
20、總量超過一個小時的任務(wù)列表監(jiān)控報表
21、數(shù)據(jù)量監(jiān)控
22、各個一級部門目錄的數(shù)據(jù)增長量監(jiān)控
?
|
| 應(yīng)用案例 |
1、互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)平臺的搭建
2、移動手機上網(wǎng)日志分析系統(tǒng)
3、電信業(yè)使用hadoop場景分析
4、電商個性化推薦系統(tǒng)
? |
