?

• 了解大數(shù)據(jù)運(yùn)維都有什么內(nèi)容
• 大數(shù)據(jù)系統(tǒng)核心組件介紹
• 性能調(diào)優(yōu)策略實(shí)戰(zhàn)
• 離線服務(wù)平臺介紹
• 業(yè)務(wù)實(shí)時(shí)監(jiān)控介紹
• Hadoop 集群硬件監(jiān)控
• 通過應(yīng)用案例了解工作 方法與流程
• ?

• 大數(shù)據(jù)運(yùn)維概覽	大數(shù)據(jù)的運(yùn)維案例回顧： 運(yùn)維內(nèi)容 運(yùn)維工作流程 運(yùn)維支撐平臺 大數(shù)據(jù)運(yùn)維涉及哪些內(nèi)容 大數(shù)據(jù)運(yùn)維關(guān)注的問題 大數(shù)據(jù)運(yùn)維平臺的典型架構(gòu)
  大數(shù)據(jù)系統(tǒng)核心組件介紹	1、集群管理工具—ambari 2、數(shù)據(jù)倉庫—hive 3、分布式計(jì)算— MapReduce 4、noSQL數(shù)據(jù)庫—Hbase 5、工作流工具—Oozie 6、數(shù)據(jù)的并行采集—Flume 7、MapReduce腳本工具—Pig 8、與關(guān)系型數(shù)據(jù)庫之間的數(shù)據(jù)遷移—Sqoop 9、資源管理平臺—Yarn 10、數(shù)據(jù)挖掘算法—Mahout 11、分布式統(tǒng)一服務(wù)—Zookeeper 12、流式計(jì)算—Strom 13、內(nèi)存計(jì)算—Spark ?
  性能調(diào)優(yōu)策略實(shí)戰(zhàn)	1、 Linux版本選擇 2、 安裝HDFS系統(tǒng)調(diào)優(yōu) 3、 網(wǎng)絡(luò)優(yōu)化策略 4、 Hdfs優(yōu)化策略 5、 安裝HDFS服務(wù) 6、 HDFS配置參數(shù)介紹 7、 HDFS運(yùn)維工具介紹 8、 Hbase服務(wù)優(yōu)化 9、 Hbase表設(shè)計(jì) 10、 spark服務(wù)介紹
  離線服務(wù)平臺介紹	1、 大數(shù)據(jù)平臺架構(gòu)設(shè)計(jì) 2、 底層存儲服務(wù)平臺架構(gòu)設(shè)計(jì)與應(yīng)用場景 3、 離線計(jì)算框架實(shí)現(xiàn)對比 4、 元數(shù)據(jù)服務(wù)治理與數(shù)據(jù)生命周期管理 5、 統(tǒng)一調(diào)度平臺設(shè)計(jì) 6、海量日志處理架構(gòu)介紹
  業(yè)務(wù)實(shí)時(shí)監(jiān)控介紹	1、 流計(jì)算框架服務(wù)介紹 2、 Storm流計(jì)算服務(wù)介紹與應(yīng)用場景 3、 Spark Streaming服務(wù)框架介紹與應(yīng)用場景 4、 Flink服務(wù)框架介紹與應(yīng)用場景 5、 流計(jì)算案例分享（天貓雙十服務(wù)） 6、 58業(yè)務(wù)數(shù)據(jù)監(jiān)控方案設(shè)計(jì) ?
  Hadoop 集群硬件監(jiān)控	1、查看集群狀態(tài) HDFS數(shù)據(jù)管理 Mapreduce 任務(wù)管理 HDFS安全模式 添加刪除節(jié)點(diǎn) 數(shù)據(jù)平衡 文件數(shù)據(jù)跨集群拷貝 2、 使用Ganglia 監(jiān)控Hadoop集群 3、 使用Cacti 監(jiān)控操作系統(tǒng) 4、 使用Zabbix監(jiān)控 5、 ganglia nagios聯(lián)合使用分析 6、 集群監(jiān)控 7、 服務(wù)監(jiān)控運(yùn)行的進(jìn)程監(jiān)控 8、 主機(jī)狀態(tài)監(jiān)控 9、 主機(jī)磁盤存儲情況監(jiān)控 10、網(wǎng)絡(luò)狀況監(jiān)控 11、ganglia 監(jiān)控 12、zabbix監(jiān)控 13、提供的服務(wù)監(jiān)控監(jiān)控 14、堡壘機(jī)監(jiān)控 15、任務(wù)監(jiān)控 16、任務(wù)運(yùn)行時(shí)常、資源數(shù)、讀取數(shù)量、shuffle數(shù)量等 17、按人任務(wù)按部門的任務(wù)匯總 18、隊(duì)列監(jiān)控 19、隊(duì)列下的任務(wù)運(yùn)行歷史監(jiān)控 20、總量超過一個(gè)小時(shí)的任務(wù)列表監(jiān)控報(bào)表 21、數(shù)據(jù)量監(jiān)控 22、各個(gè)一級部門目錄的數(shù)據(jù)增長量監(jiān)控 ?
  應(yīng)用案例	1、互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)平臺的搭建 2、移動(dòng)手機(jī)上網(wǎng)日志分析系統(tǒng) 3、電信業(yè)使用hadoop場景分析 4、電商個(gè)性化推薦系統(tǒng) ?

  ?