?Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理培訓(xùn)課程

課程大綱：

第一部分　基礎(chǔ)篇

第1章　閱讀源代碼前的準(zhǔn)備

1.1　準(zhǔn)備源代碼學(xué)習(xí)環(huán)境

1.2　獲取Hadoop源代碼

1.3　搭建Hadoop源代碼閱讀環(huán)境

1.4　Hadoop源代碼組織結(jié)構(gòu)

1.5　Hadoop初體驗(yàn)

1.5.3　Hadoop?Eclipse插件介紹

1.6　編譯及調(diào)試Hadoop源代碼

第2章　MapReduce設(shè)計(jì)理念與基本架構(gòu)

2.1　Hadoop發(fā)展史

2.2　Hadoop?MapReduce設(shè)計(jì)目標(biāo)

2.3　MapReduce編程模型概述

2.4　Hadoop基本架構(gòu)

2.5　Hadoop?MapReduce作業(yè)的生命周期

第二部分　MapReduce編程模型篇

第3章　MapReduce編程模型

3.1　MapReduce編程模型概述

3.2　MapReduce?API基本概念

3.3　Java?API解析

3.4　非Java?API解析

3.5　Hadoop工作流

第三部分　MapReduce核心設(shè)計(jì)篇

第4章　Hadoop?RPC框架解析

4.1　Hadoop?RPC框架概述

4.2　Java基礎(chǔ)知識(shí)

4.3　Hadoop?RPC基本框架分析

4.4　MapReduce通信協(xié)議分析

第5章　作業(yè)提交與初始化過程分析

5.1　作業(yè)提交與初始化概述

5.2　作業(yè)提交過程詳解

5.3　作業(yè)初始化過程詳解

5.4　Hadoop?DistributedCache原理分析

第6章　JobTracker內(nèi)部實(shí)現(xiàn)剖析

6.1　JobTracker概述

6.2　JobTracker啟動(dòng)過程分析

6.3　心跳接收與應(yīng)答

6.4　Job和Task運(yùn)行時(shí)信息維護(hù)

6.5　容錯(cuò)機(jī)制

6.6　任務(wù)推測(cè)執(zhí)行原理

6.7　Hadoop資源管理

第7章　TaskTracker內(nèi)部實(shí)現(xiàn)剖析

7.1　TaskTracker概述

7.2　TaskTracker啟動(dòng)過程分析

7.3　心跳機(jī)制

7.4　TaskTracker行為分析

7.5　作業(yè)目錄管理

7.6　啟動(dòng)新任務(wù)

第8章　Task運(yùn)行過程分析

8.1　Task運(yùn)行過程概述

8.2　基本數(shù)據(jù)結(jié)構(gòu)和算法

8.3　Map?Task內(nèi)部實(shí)現(xiàn)

8.4　Reduce?Task內(nèi)部實(shí)現(xiàn)

8.5　MapReduce?Task優(yōu)化

第四部分　MapReduce高級(jí)篇

第9章　Hadoop性能調(diào)優(yōu)

9.1　概述

9.2　從管理員角度進(jìn)行調(diào)優(yōu)

9.3　從用戶角度進(jìn)行調(diào)優(yōu)

第10章　Hadoop多用戶作業(yè)調(diào)度器

10.1　多用戶調(diào)度器產(chǎn)生背景

10.2　HOD

10.3　Hadoop隊(duì)列管理機(jī)制

10.4　Capacity?Scheduler實(shí)現(xiàn)

10.5　Fair?Scheduler實(shí)現(xiàn)

10.6　其他Hadoop調(diào)度器介紹

第11章　Hadoop安全機(jī)制

11.1　Hadoop安全機(jī)制概述

11.2　基礎(chǔ)知識(shí)

11.3　Hadoop安全機(jī)制實(shí)現(xiàn)

11.4　應(yīng)用場(chǎng)景總結(jié)

第12章　下一代MapReduce框架

12.1　第一代MapReduce框架的局限性

12.2　下一代MapReduce框架概述

12.3　Apache?YARN

12.4　Facebook?Corona

12.5　Apache?Mesos