| 大數(shù)據(jù)運(yùn)維概覽 |
大數(shù)據(jù)的運(yùn)維案例回顧：
- 運(yùn)維內(nèi)容
- 運(yùn)維工作流程
- 運(yùn)維支撐平臺(tái)
大數(shù)據(jù)運(yùn)維涉及哪些內(nèi)容
大數(shù)據(jù)運(yùn)維關(guān)注的問題
大數(shù)據(jù)運(yùn)維平臺(tái)的典型架構(gòu) |
| 大數(shù)據(jù)系統(tǒng)核心組件介紹 |
1、集群管理工具—ambari
2、數(shù)據(jù)倉庫—hive
3、分布式計(jì)算— MapReduce
4、noSQL數(shù)據(jù)庫—Hbase
5、工作流工具—Oozie
6、數(shù)據(jù)的并行采集—Flume
7、MapReduce腳本工具—Pig
8、與關(guān)系型數(shù)據(jù)庫之間的數(shù)據(jù)遷移—Sqoop
9、資源管理平臺(tái)—Yarn
10、數(shù)據(jù)挖掘算法—Mahout
11、分布式統(tǒng)一服務(wù)—Zookeeper
12、流式計(jì)算—Strom
13、內(nèi)存計(jì)算—Spark
? |
| 性能調(diào)優(yōu)策略實(shí)戰(zhàn) |
1、 Linux版本選擇
2、 安裝HDFS系統(tǒng)調(diào)優(yōu)
3、 網(wǎng)絡(luò)優(yōu)化策略
4、 Hdfs優(yōu)化策略
5、 安裝HDFS服務(wù)
6、 HDFS配置參數(shù)介紹
7、 HDFS運(yùn)維工具介紹
8、 Hbase服務(wù)優(yōu)化
9、 Hbase表設(shè)計(jì)
10、 spark服務(wù)介紹 |
| 離線服務(wù)平臺(tái)介紹 |
1、 大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)
2、 底層存儲(chǔ)服務(wù)平臺(tái)架構(gòu)設(shè)計(jì)與應(yīng)用場(chǎng)景
3、 離線計(jì)算框架實(shí)現(xiàn)對(duì)比
4、 元數(shù)據(jù)服務(wù)治理與數(shù)據(jù)生命周期管理
5、 統(tǒng)一調(diào)度平臺(tái)設(shè)計(jì)
6、海量日志處理架構(gòu)介紹 |
| 業(yè)務(wù)實(shí)時(shí)監(jiān)控介紹 |
1、 流計(jì)算框架服務(wù)介紹
2、 Storm流計(jì)算服務(wù)介紹與應(yīng)用場(chǎng)景
3、 Spark Streaming服務(wù)框架介紹與應(yīng)用場(chǎng)景
4、 Flink服務(wù)框架介紹與應(yīng)用場(chǎng)景
5、 流計(jì)算案例分享（天貓雙十服務(wù)）
6、 58業(yè)務(wù)數(shù)據(jù)監(jiān)控方案設(shè)計(jì)
? |
| Hadoop 集群硬件監(jiān)控 |
1、查看集群狀態(tài)
- HDFS數(shù)據(jù)管理
- Mapreduce 任務(wù)管理
- HDFS安全模式
- 添加刪除節(jié)點(diǎn)
- 數(shù)據(jù)平衡
- 文件數(shù)據(jù)跨集群拷貝
2、 使用Ganglia 監(jiān)控Hadoop集群
3、 使用Cacti 監(jiān)控操作系統(tǒng)
4、 使用Zabbix監(jiān)控
5、 ganglia nagios聯(lián)合使用分析
6、 集群監(jiān)控
7、 服務(wù)監(jiān)控運(yùn)行的進(jìn)程監(jiān)控
8、 主機(jī)狀態(tài)監(jiān)控
9、 主機(jī)磁盤存儲(chǔ)情況監(jiān)控
10、網(wǎng)絡(luò)狀況監(jiān)控
11、ganglia 監(jiān)控
12、zabbix監(jiān)控
13、提供的服務(wù)監(jiān)控監(jiān)控
14、堡壘機(jī)監(jiān)控
15、任務(wù)監(jiān)控
16、任務(wù)運(yùn)行時(shí)常、資源數(shù)、讀取數(shù)量、shuffle數(shù)量等
17、按人任務(wù)按部門的任務(wù)匯總
18、隊(duì)列監(jiān)控
19、隊(duì)列下的任務(wù)運(yùn)行歷史監(jiān)控
20、總量超過一個(gè)小時(shí)的任務(wù)列表監(jiān)控報(bào)表
21、數(shù)據(jù)量監(jiān)控
22、各個(gè)一級(jí)部門目錄的數(shù)據(jù)增長(zhǎng)量監(jiān)控
?
|
| 應(yīng)用案例 |
1、互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)平臺(tái)的搭建
2、移動(dòng)手機(jī)上網(wǎng)日志分析系統(tǒng)
3、電信業(yè)使用hadoop場(chǎng)景分析
4、電商個(gè)性化推薦系統(tǒng)
? |
