?Hadoop性能調(diào)優(yōu)培訓(xùn)課程
培訓(xùn)大綱
|
模塊
|
課程內(nèi)容
|
案例及實(shí)驗(yàn)
|
|
Hadoop參數(shù)調(diào)優(yōu)
|
l?選擇適合Hadoop的硬件配置
l?Hadoop配置項(xiàng)優(yōu)化
l?網(wǎng)絡(luò)帶寬參數(shù)調(diào)優(yōu)
l?選擇正確的JDK
l?Hadoop作業(yè)調(diào)優(yōu)
l?Linux操作系統(tǒng)優(yōu)化
l?其他配置和參數(shù)調(diào)優(yōu)
|
l?Hadoop硬件優(yōu)化
l?不是所有的硬件都合適拿來直接使用
l?硬件為什么不做raid？
l?設(shè)置網(wǎng)絡(luò)的注意事項(xiàng)
l?中間結(jié)果壓縮對(duì)磁盤和網(wǎng)絡(luò)的優(yōu)化
l?常見異常現(xiàn)象及處理方法
|
|
Hive性能優(yōu)化
|
l?Hive參數(shù)優(yōu)化
l?Hive其他優(yōu)化
l?自有軟件Phphiveadmin的介紹及使用
|
l?對(duì)group，join的優(yōu)化
l?其他參數(shù)設(shè)計(jì)
l?設(shè)定并行執(zhí)行嵌套sql
l?為什么使用外部表和partition
l?Phphiveadmin帶來的優(yōu)勢(shì)和便利
|
|
精彩案例解析
|
案例一：那namenode?被重新格式化，datanode無法連接
案例二：硬盤損壞
案例三：錯(cuò)誤用戶啟動(dòng)hadoop
案例四：tasktracker重啟后假死
案例五：jobtracker無故宕機(jī)
|
|
HBASE調(diào)優(yōu)
|
l?HBase配置優(yōu)化綜述
l?讀優(yōu)化中需要調(diào)整的參數(shù)
l?寫優(yōu)化中需要調(diào)整的參數(shù)
l?Hbase-site.xml參數(shù)調(diào)優(yōu)
l?JVM優(yōu)化中需要調(diào)整的參數(shù)
l?Split?&?compact優(yōu)化相關(guān)參數(shù)
l?表設(shè)計(jì)優(yōu)化相關(guān)參數(shù)
l?Hbase客戶端優(yōu)化相關(guān)參數(shù)
l?監(jiān)控工具使用方法及注意事項(xiàng)
|
l?Memstore合并設(shè)置的時(shí)機(jī)選擇
l?Mslab使用設(shè)置
l?合并storefile策略設(shè)置技巧
l?Memstore??flush?設(shè)置時(shí)機(jī)選擇
l?Hbase-env.sh、Single、multi-thread、CMS使用及參數(shù)調(diào)用
l?GC回收垃圾時(shí)機(jī)、GC日志打印設(shè)置
l?GC階段，region無法提供服務(wù)如何如何處理
l?安裝、使用步驟、主要監(jiān)控參數(shù)，如何根據(jù)參數(shù)進(jìn)行調(diào)優(yōu)設(shè)置
|
|
精彩案例解析
|
案例1：hot??region造成讀請(qǐng)求瓶頸
現(xiàn)象：某臺(tái)機(jī)器的某個(gè)region讀請(qǐng)求非常頻繁，大量讀請(qǐng)求集中在一臺(tái)機(jī)器的某個(gè)region會(huì)造成該機(jī)器的壓力陡增，JVM內(nèi)存居高不下，load很高，使得client讀取數(shù)據(jù)上達(dá)到瓶頸值。
|
|
Mapreduce的性能調(diào)優(yōu)
|
Mapreduce中需要調(diào)優(yōu)的相關(guān)參數(shù)
??Dfs.block.size
??Mapreduce
??Io.sort.mb
??Io.sort.spill.percent
??Mapred.local.dir
??Mapred.map.tasksmapred.tasktracker.map.tasks.maximum
??Mapred.reduce.?tasksmapred.?Sktracker.reduce.tasks.?sktracker
|
l?Map中選擇合理的塊大小
l?Reduce并行復(fù)制線程的調(diào)優(yōu)
l?Map/reduce內(nèi)存配置的原則及方法
l?槽位數(shù)計(jì)算方法
l?調(diào)度器的選擇集調(diào)優(yōu)
|
|
精彩案例解析
|
案例1：控制map?&?reduce個(gè)數(shù)
現(xiàn)象：map個(gè)數(shù)取決于split個(gè)數(shù)，如果源文件使用壓縮存儲(chǔ)，則不可分割，一個(gè)文件一個(gè)map。非壓縮文件使用默認(rèn)block.size進(jìn)行切分。對(duì)reduce因?yàn)槭侵虚g數(shù)據(jù)，可以控制reduce數(shù)量。
|
?
