?課程目標(biāo)：

• Hadoop大觀園，介紹Hadoop生態(tài)系統(tǒng)的各個(gè)組成模塊與適用場(chǎng)景。
• Hadoop部署與編程，講解演示在生產(chǎn)環(huán)境中選用和配置服務(wù)器需要注意的事項(xiàng)，介紹HDFS編程的Java API使用。
• Hadoop集群架構(gòu)搭建
• MapReduce編程與調(diào)優(yōu)：講解演示MapReduce的中高級(jí)應(yīng)用開發(fā)與調(diào)優(yōu)技能。
• Hive編程與調(diào)優(yōu)：講解演示MapReduce的中高級(jí)應(yīng)用開發(fā)與調(diào)優(yōu)技能。
• HBase編程與調(diào)優(yōu)：講解演示HBase的中高級(jí)應(yīng)用開發(fā)與調(diào)優(yōu)技能。
• Hadoop系統(tǒng)管理：講解Hadoop系統(tǒng)的高級(jí)配置與管理技能。
• ?
• 培訓(xùn)內(nèi)容：

• Hadoop大觀園	文件存儲(chǔ)-HDFS HDFS-工作原理 數(shù)據(jù)計(jì)算MapReduce MapReduce工作原理 SQL分析-Hive 海量實(shí)時(shí)讀寫-HBase 工作流調(diào)度-Ooize 分布式協(xié)調(diào)系統(tǒng)—Zookeeper
  Hadoop部署與編程	Hadoop版本介紹與選擇 Hadoop部署實(shí)踐 a) Hadoop安裝文件構(gòu)成與配置體系 b) 機(jī)器硬件建議配置 c) 系統(tǒng)環(huán)境配置 d) 基本參數(shù)配置與說明 e) 進(jìn)程分布規(guī)劃與啟動(dòng) Hadoop基本使用操作 a) HDFS b) 權(quán)限 c) MapReduce HDFS編程 a) 開發(fā)環(huán)境準(zhǔn)備 b) 讀文件 c) 寫文件
  Hadoop集群架構(gòu)搭建	Hadoop集群架構(gòu)搭建方法 Hadoop集群架構(gòu)性能管理 HDFS，NameNode，DataNode的調(diào)優(yōu)和節(jié)點(diǎn)擴(kuò)展最佳實(shí)踐 主要調(diào)優(yōu)工具和性能監(jiān)控工具 Hadoop集群對(duì)于硬件的要求和選型 Hadoop集群中對(duì)硬件、操作系統(tǒng)的調(diào)優(yōu)方法 實(shí)際案例分析 基于Hadoop的集群解決方案
  MapReduce編程與調(diào)優(yōu)	MR與YARN介紹 編程實(shí)戰(zhàn) 基本MapReduce程序編寫 基于MapReduce的高級(jí)操作（排序，分區(qū)，二次排序） 基于MapReduce的Join操作 調(diào)整MR框架運(yùn)行參數(shù)，提升運(yùn)行效率 選擇合適的Map與Reduce數(shù)量 設(shè)置Map端參數(shù) 設(shè)置Reduce端參數(shù) 使用HPROF對(duì)MR任務(wù)進(jìn)行Profiling 代碼調(diào)試 運(yùn)行日志
  Hive編程與調(diào)優(yōu)	Hive系統(tǒng)部署與搭建 Hive工作機(jī)制 基于Hive的網(wǎng)站日志分析示例 Hive的用戶自定義函數(shù)開發(fā) Hive底層數(shù)據(jù)文件與數(shù)據(jù)壓縮選擇 gzip bz2 lzo rcfile Hive運(yùn)行參數(shù)調(diào)優(yōu) Hive程序編寫性能建議 MapJoin 數(shù)據(jù)傾斜 Join順序 UDF編寫注意事項(xiàng) 快速獲取結(jié)果TopN 通過Explain觀察Hive行為
  HBase編程與調(diào)優(yōu)	HBase系統(tǒng)架構(gòu) 基于HBase的網(wǎng)盤應(yīng)用示例 HBase性能測(cè)試 HBase編程與調(diào)優(yōu) HBase系統(tǒng)部署與搭建 HBase系統(tǒng)架構(gòu)與原理 HBase編程基礎(chǔ) HBase高級(jí)編程功能與實(shí)例 Filter Coprocessor HBase數(shù)據(jù)存儲(chǔ)編碼選擇 壓縮 Avro HBase性能測(cè)試與分析
  Hadoop系統(tǒng)管理	Hadoop系統(tǒng)性能監(jiān)控系統(tǒng)（Ganglia）搭建 Hadoop系統(tǒng)容災(zāi)策略 Hadoop資源調(diào)度策略 Hadoop高級(jí)配置參數(shù) Hadoop安全 Hadoop系統(tǒng)監(jiān)控與報(bào)警策略 總結(jié)、答疑 ?

  ?