?Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設(shè)計與實現(xiàn)原理培訓(xùn)課程

課程大綱：

第一部分　基礎(chǔ)篇

第1章　閱讀源代碼前的準備

1.1　準備源代碼學(xué)習(xí)環(huán)境

1.2　獲取Hadoop源代碼

1.3　搭建Hadoop源代碼閱讀環(huán)境

1.4　Hadoop源代碼組織結(jié)構(gòu)

1.5　Hadoop初體驗

1.5.3　Hadoop?Eclipse插件介紹

1.6　編譯及調(diào)試Hadoop源代碼

第2章　MapReduce設(shè)計理念與基本架構(gòu)

2.1　Hadoop發(fā)展史

2.2　Hadoop?MapReduce設(shè)計目標

2.3　MapReduce編程模型概述

2.4　Hadoop基本架構(gòu)

2.5　Hadoop?MapReduce作業(yè)的生命周期

第二部分　MapReduce編程模型篇

第3章　MapReduce編程模型

3.1　MapReduce編程模型概述

3.2　MapReduce?API基本概念

3.3　Java?API解析

3.4　非Java?API解析

3.5　Hadoop工作流

第三部分　MapReduce核心設(shè)計篇

第4章　Hadoop?RPC框架解析

4.1　Hadoop?RPC框架概述

4.2　Java基礎(chǔ)知識

4.3　Hadoop?RPC基本框架分析

4.4　MapReduce通信協(xié)議分析

第5章　作業(yè)提交與初始化過程分析

5.1　作業(yè)提交與初始化概述

5.2　作業(yè)提交過程詳解

5.3　作業(yè)初始化過程詳解

5.4　Hadoop?DistributedCache原理分析

第6章　JobTracker內(nèi)部實現(xiàn)剖析

6.1　JobTracker概述

6.2　JobTracker啟動過程分析

6.3　心跳接收與應(yīng)答

6.4　Job和Task運行時信息維護

6.5　容錯機制

6.6　任務(wù)推測執(zhí)行原理

6.7　Hadoop資源管理

第7章　TaskTracker內(nèi)部實現(xiàn)剖析

7.1　TaskTracker概述

7.2　TaskTracker啟動過程分析

7.3　心跳機制

7.4　TaskTracker行為分析

7.5　作業(yè)目錄管理

7.6　啟動新任務(wù)

第8章　Task運行過程分析

8.1　Task運行過程概述

8.2　基本數(shù)據(jù)結(jié)構(gòu)和算法

8.3　Map?Task內(nèi)部實現(xiàn)

8.4　Reduce?Task內(nèi)部實現(xiàn)

8.5　MapReduce?Task優(yōu)化

第四部分　MapReduce高級篇

第9章　Hadoop性能調(diào)優(yōu)

9.1　概述

9.2　從管理員角度進行調(diào)優(yōu)

9.3　從用戶角度進行調(diào)優(yōu)

第10章　Hadoop多用戶作業(yè)調(diào)度器

10.1　多用戶調(diào)度器產(chǎn)生背景

10.2　HOD

10.3　Hadoop隊列管理機制

10.4　Capacity?Scheduler實現(xiàn)

10.5　Fair?Scheduler實現(xiàn)

10.6　其他Hadoop調(diào)度器介紹

第11章　Hadoop安全機制

11.1　Hadoop安全機制概述

11.2　基礎(chǔ)知識

11.3　Hadoop安全機制實現(xiàn)

11.4　應(yīng)用場景總結(jié)

第12章　下一代MapReduce框架

12.1　第一代MapReduce框架的局限性

12.2　下一代MapReduce框架概述

12.3　Apache?YARN

12.4　Facebook?Corona

12.5　Apache?Mesos