|
Hadoop在云計(jì)算技術(shù)的作用和地位
|
l?傳統(tǒng)大規(guī)模數(shù)據(jù)分析存在的問(wèn)題
l?Hadoop概述
l?Hadoop與分布式文件系統(tǒng)
l?Mapreduce的工作原理與機(jī)制
l?Hadoop集群剖析
l?Hadoop生態(tài)系統(tǒng)
l?Hadoop的行業(yè)應(yīng)用案例分析
l?Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系
|
2?阿里集團(tuán)技術(shù)平臺(tái)，Hadoop在淘寶、支付寶的作用
2?電商眼中的Hadoop和推薦系統(tǒng)
2?暴風(fēng)數(shù)據(jù)平臺(tái)：Hadoop對(duì)于產(chǎn)品優(yōu)化的價(jià)值
2?Hadoop對(duì)于趣游、熱酷等游戲公司的作用
2?移動(dòng)大云項(xiàng)目（big?cloud）中的hadoop
2?聯(lián)通使用Hadoop/Hbase解決3G詳單查詢問(wèn)題
|
|
Hadoop參數(shù)調(diào)優(yōu)
|
l?選擇合適Hadoop的硬件配置
l?Hadoop配置項(xiàng)優(yōu)化
l?Hadoop配置優(yōu)化?—?core-site.xml
l?Hadoop配置優(yōu)化?—?HDFS
l?Hadoop配置優(yōu)化?—?hdfs-site.xml
l?Hadoop配置優(yōu)化?—?mapred-site.xml
l?Hadoop配置優(yōu)化?—?機(jī)架感知
l?網(wǎng)絡(luò)帶寬參數(shù)調(diào)優(yōu)
l?系統(tǒng)參數(shù)調(diào)優(yōu)
l?配置文件管理
l?嚴(yán)格控制root權(quán)限
l?Java的GC模式
l?選擇正確的JDK
l?Hadoop作業(yè)調(diào)優(yōu)
l?Map??side??tuning設(shè)置
l??Map??side設(shè)置
l?Linux?操作系統(tǒng)優(yōu)化
l?其他配置和參數(shù)調(diào)優(yōu)
l?core-default.xml，
l?hdfs-default.xml，
l?mapred-default.xml，
l?mapred-site.xml
l?mapred?.tasktracker?.map.tasks?.maximum
l?mapred.reduce.slowstart.completed.maps
l?mapred.fairscheduler.preemption
l?mapred.jobtracker.completeuserjobs.maximum
l?mapred.jobtracker.update.faulty.tracker.interval
l?mapred.jobtracker.max.blacklist.percent
|
2?hadoop硬件優(yōu)化
2?不是所有的硬件都合適拿來(lái)使用
2?安裝調(diào)優(yōu)的第一步服務(wù)器硬件的選型的竅門(mén)
2?如何選擇合適業(yè)務(wù)使用的CPU
2?內(nèi)存越大越好嗎？設(shè)置合理的內(nèi)存配置
2?鏈接網(wǎng)絡(luò)的選擇和優(yōu)化
2?高速硬盤(pán)的選擇注意事項(xiàng)
2?硬盤(pán)為什么不做raid？
2?設(shè)置網(wǎng)絡(luò)的注意事項(xiàng)
2?中間結(jié)果壓縮對(duì)磁盤(pán)和網(wǎng)絡(luò)的優(yōu)化
2?機(jī)架感知，網(wǎng)絡(luò)和磁盤(pán)IO優(yōu)化作用，確定存儲(chǔ)的具體位置
2?內(nèi)存參數(shù)，map/reduce槽位數(shù)的計(jì)算方法
2?對(duì)磁盤(pán)和網(wǎng)絡(luò)的優(yōu)化
2?Java工具使用，jstack使用
2?Sun和open之間的區(qū)別，JIT編譯的使用
2?Linux系統(tǒng)參數(shù)調(diào)優(yōu)
2?Linux監(jiān)控系統(tǒng)的使用
2?Cacti
2?Ganglia
2?常用的linux排錯(cuò)工具l?sof，strace，iostat，vmstat，n?etstat…
2?常見(jiàn)異常現(xiàn)象級(jí)處理方法
2?網(wǎng)卡流量導(dǎo)致連接失敗
2?權(quán)限錯(cuò)誤
2?主機(jī)名IP轉(zhuǎn)換錯(cuò)誤
2?NN與DN??namespace?ID不一致
2?磁盤(pán)滿導(dǎo)致報(bào)錯(cuò)
2?Java?heap?size?oom
|
|
精彩案例及故障解決方法解析
|
2?案例一：namenode?被重新格式化，datanode無(wú)法連接
n?現(xiàn)象：namenode?中的namespac??ID?與datanode中的namespace?ID不一致
2?案例二：硬盤(pán)損壞
n?現(xiàn)象：磁盤(pán)損壞導(dǎo)致datanode宕機(jī)
2?案例三：?錯(cuò)誤用戶啟動(dòng)hadoop
n?現(xiàn)象：datanode啟動(dòng)一段時(shí)間后宕機(jī)
2?案例四：tasktracker重啟后假死
n?現(xiàn)象：無(wú)報(bào)錯(cuò)，但tasktracker不工作
2?案例五：jobtracker無(wú)故宕機(jī)
n?現(xiàn)象：運(yùn)行過(guò)程中，jobtracker宕機(jī)
2?案例六：datanode無(wú)法注冊(cè)到namenode
n?現(xiàn)象：datanode啟動(dòng)后到mbean這步掛起不再繼續(xù)
2?案例七：tasktracker無(wú)法啟動(dòng)，報(bào)權(quán)限錯(cuò)誤
n?現(xiàn)象：tasktracker報(bào)文件夾創(chuàng)建的權(quán)限錯(cuò)誤后直接退出
2?案例八：主機(jī)名設(shè)置錯(cuò)誤
n?現(xiàn)象：datanode和tasktrcker無(wú)法正常工作
|
|
Hadoop安裝和部署
|
l?Hadoop?系統(tǒng)模塊組件概述
l?Hadoop?實(shí)驗(yàn)集群的部署結(jié)構(gòu)
l?Hadoop?安裝依賴關(guān)系
l?Hadoop?生產(chǎn)環(huán)境的部署結(jié)構(gòu)
l?Hadoop?集群部署
l?Hadoop?高可用配置方法
l?Hadoop集群簡(jiǎn)單測(cè)試方法
l?Hadoop?集群異常Debug?方法
|
2?Hadoop安裝部署實(shí)驗(yàn)
2?Red?hat?Linux?基礎(chǔ)環(huán)境搭建
2?Hadoop?機(jī)群系統(tǒng)版本安裝和啟動(dòng)配置
2?使用Hadoop?MapReduce?Streaming?快速測(cè)試系統(tǒng)
2?Hadoopcore-site，hdfs-site，mapred-site配置詳解
|
|
Hadoop和傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)優(yōu)劣勢(shì)對(duì)比
|
l?Hadoop/Hive對(duì)比Oracle在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)上的優(yōu)劣勢(shì)
l?Hadoop如何和傳統(tǒng)IT系統(tǒng)配合完成原來(lái)不可能的任務(wù)
|
2?Apache社區(qū)版本：Cloudera?版本、MapR版本、Intel版本、Oracle、Dell、HP版本
|
|
編寫(xiě)MapReduce高級(jí)程序
|
l?使用Hadoop?MapReduce?Streaming編程
l?MapReduce?流程
l?剖析一個(gè)MapReduce程序
l?基本MapReduceAPI概念
l?驅(qū)動(dòng)代碼Mapper、reducer
l?Hadoop?流
l?API使用Eclipse進(jìn)行快速開(kāi)發(fā)
l?新MapReduce??API
l?MapReduce的優(yōu)化
l?MapReduce的任務(wù)調(diào)度
l?MapReduce編程實(shí)戰(zhàn)
l?如何利用其他Hadoop相關(guān)技術(shù)，包括Apache?Hive，Apache?Pig，Sqoop和Oozie等
l?滿足解決實(shí)際數(shù)據(jù)分析問(wèn)題的高級(jí)Hadoop?API
|
2?Hadoop?Streaming和Java?MapReduce差異
2?MapReduce實(shí)現(xiàn)數(shù)據(jù)庫(kù)功能
2?利用Combiners來(lái)減少中間數(shù)據(jù)
2?編寫(xiě)Partitioner來(lái)優(yōu)化負(fù)載平衡
2?直接訪問(wèn)Hadoop的join操作
2?輔助排序在Reducer方的合并
2?定制Writables和WritableComparables
2?使用SequenceFiles和Avro文件保存二進(jìn)制數(shù)據(jù)
2?創(chuàng)建InputFormats?OutputFormats
2?Hadoop的二次排序
2?Hadoop的海量日志分析
2?在Map方的合并
|
|
精彩案例及故障解決方法解析
|
2?案例1：控制Map?&?reduce?個(gè)數(shù)
n?現(xiàn)象：map個(gè)數(shù)取決于split個(gè)數(shù)，如果源文件使用壓縮存儲(chǔ)，則不可分割，一個(gè)文件一個(gè)map。非壓縮文件使用默認(rèn)block.size進(jìn)行切分。對(duì)reduce因?yàn)槭侵虚g數(shù)據(jù)，可以控制reduce數(shù)量。
2?案例2：壓縮中間數(shù)據(jù)
n?現(xiàn)象：job中間臨時(shí)數(shù)據(jù)量極大、網(wǎng)絡(luò)IO吞吐量大。
2?案例3：編程細(xì)節(jié)，內(nèi)存溢出
n?現(xiàn)象：編程過(guò)程中，經(jīng)常遇到list?、map、倒排表等大對(duì)象，如果作為局部變量，每次調(diào)用map或者reduce方法都初始化這些變量，很容易消耗掉JVM堆內(nèi)存，出現(xiàn)內(nèi)存溢出異常。
2?案例4：編程細(xì)節(jié)，計(jì)數(shù)&日志打印
n?現(xiàn)象：System.?Out.?Println,??System.?Err.?Println等日志打印過(guò)多會(huì)嚴(yán)重影響job性能，counter計(jì)數(shù)也會(huì)存在同樣的問(wèn)題，同時(shí)也會(huì)造成本地磁盤(pán)使用量的急劇增長(zhǎng)。
2?案例5：作業(yè)調(diào)度
n?現(xiàn)象：集群上的job非常多時(shí)，會(huì)出現(xiàn)一些job一直等待，很長(zhǎng)一段時(shí)間內(nèi)沒(méi)有開(kāi)始運(yùn)行。默認(rèn)的任務(wù)調(diào)度器FIFO并不能滿足實(shí)際工作應(yīng)用。
2?案例6：Combiner優(yōu)化
n?現(xiàn)象：map輸出數(shù)據(jù)量非常大，reduce??input??group遠(yuǎn)小于reduce??input??group時(shí)，存在大量的網(wǎng)絡(luò)IO，這些IO中的一部分?jǐn)?shù)據(jù)可以在本地做完合并，然后再進(jìn)行reduce操作。
|
|
使用Hive和Pig開(kāi)發(fā)及技巧
|
l?Hive和Pig基礎(chǔ)
l?Hive的作用和原理說(shuō)明
l?Hadoop/Hive倉(cāng)庫(kù)數(shù)據(jù)數(shù)據(jù)流
l?Hive部署和安裝
l?Hive??Cli的基本用法
l?HQL基本語(yǔ)法
l?使用Oozie的動(dòng)機(jī)
l?Oozie工作流定義格式
|
2?使用JDBC連接Hive進(jìn)行查詢和分析
2?使用正則表達(dá)式加載數(shù)據(jù)
2?HQL高級(jí)語(yǔ)法
2?編寫(xiě)UDF函數(shù)
2?編寫(xiě)UDAF自定義函數(shù)
2?使用Sqoop進(jìn)行數(shù)據(jù)分析
2?使用Oozie配置工作流
2?phpHiveAdmin安裝和使用
|
