數(shù)據(jù)Hadoop最佳實踐培訓(xùn)

培訓(xùn)內(nèi)容

第一部分

第1個主題：Hadoop思考

1.Hadoop的設(shè)計目標(biāo)和適用場景

2.Hadoop架構(gòu)解析

3.MapReduce工作原理和案例說明

第2個主題：Hadoop集群與管理

1、?Hadoop集群的搭建

2、?Hadoop集群的監(jiān)控

3、?Hadoop集群的管理

4、?集群下運(yùn)行MapReduce程序

第3主題：徹底掌握HDFS?(具備修改HDFS具體源碼實現(xiàn)的能力)

1、HDFS體系架構(gòu)剖析

2、NameNode、DataNode、SecondaryNameNode架構(gòu)

3、保證NodeName高可靠性最佳實踐

4、DataNode中Block劃分的原理和具體存儲方式

5、修改Namenode、DataNode數(shù)據(jù)存儲位置

6、使用CLI操作HDFS

7、使用Java操作HDFS

第4主題：徹底掌握HDFS?(具備修改HDFS具體源碼實現(xiàn)的能力)

1、RPC架構(gòu)剖析

2、源碼剖析Hadoop構(gòu)建于RPC之上

3、源碼剖析HDFS的RPC實現(xiàn)

4、源碼剖析客戶端與與NameNode的RPC通信

第5個主題：徹底掌握MapReduce（從代碼的角度剖析MapReduce執(zhí)行的具體過程并具備開發(fā)MapReduce代碼的能力）

1、MapReduce執(zhí)行的經(jīng)典步驟

2、wordcount運(yùn)行過程解析

3、Mapper和Reducer剖析

4、自定義Writable

5、新舊API的區(qū)別以及如何使用就API

6、把MapReduce程序打包成Jar包并在命令行運(yùn)行

第6個主題：徹底掌握MapReduce（具備掌握Hadoop如何把HDFS文件轉(zhuǎn)化為Key-Value讓供Map調(diào)用的能力）

1、?Hadoop是如何把HDFS文件轉(zhuǎn)化為鍵值對的？

2、?源碼剖析Hadoop讀取HDFS文件并轉(zhuǎn)化為鍵值對的過程實現(xiàn)

3、?源碼剖析轉(zhuǎn)化為鍵值對后供Map調(diào)用的過程實現(xiàn)

第7個主題：徹底掌握MapReduce（具備掌握MapReduce內(nèi)部運(yùn)行和實現(xiàn)細(xì)節(jié)并改造MapReduce的能力）

1、?Hadoop內(nèi)置計數(shù)器及如何自定義計數(shù)器

2、?Combiner具體的作用和使用以及其使用的限制條件

3、?Partitioner的使用最佳實踐

4、?Hadoop內(nèi)置的排序算法剖析

5、?自定義排序算法

6、?Hadoop內(nèi)置的分組算法

7、?自定義分組算法

8、?MapReduce常見場景和算法實現(xiàn)

第二部分

第1個主題：HBase架構(gòu)設(shè)計和實現(xiàn)剖析

1、?HBase定義

2、?HBase與RDBMS的對比

3、?數(shù)據(jù)模型

4、?系統(tǒng)架構(gòu)

5、?HBase上的MapReduce

6、?表的設(shè)計

第2個主題：HBase集群及其管理

1、?集群的搭建過程講解

2、?集群的監(jiān)控

3、?集群的管理

第3個主題：HBase客戶端

1、?HBase?Shell以及演示

2、?Java客戶端以及代碼演示

第4個主題：HBase案例實戰(zhàn)1---使用HBase實現(xiàn)微博系統(tǒng)

1.?項目架構(gòu)和設(shè)計

2.?開發(fā)環(huán)境搭建

3.?實現(xiàn)用戶登錄和注銷

4.“關(guān)注”功能的設(shè)計和實現(xiàn)

5.“發(fā)微博”功能的設(shè)計和實現(xiàn)

6.發(fā)布和運(yùn)行整個基于HBase的微博系統(tǒng)

第5個主題：HBase與MapReduce

1.?HBase與MapReduce的關(guān)系

2.?HBase如何使用MapReduce

第6個主題：HBase案例實戰(zhàn)2---話單查詢與統(tǒng)計

1.?項目架構(gòu)設(shè)計

2.?開發(fā)環(huán)境搭建

3.?話單入庫和查詢的設(shè)計與實現(xiàn)

4.統(tǒng)計功能的設(shè)計與實現(xiàn)

第7個主題：安裝和使用Hive

1.?Hive剖析

2.?安裝Hive

3.Hive的基本使用

第8個主題：Hive與HDFS、MapReduce

1.?Hive向HDFS存入結(jié)構(gòu)化數(shù)據(jù)

2.?使用MySQL作為Hive的元數(shù)據(jù)庫

3.Hive與MapReduce

第三部分

第1個主題：Hive

1.?Hive的Java擴(kuò)展開發(fā)

2.?Hive?UDF和UDAF開發(fā)

3.?Hive常見場景，實戰(zhàn)練習(xí)

第2個主題：Hive案例實戰(zhàn)---數(shù)據(jù)統(tǒng)計

1.?項目架構(gòu)設(shè)計

2.?表結(jié)構(gòu)設(shè)計

3.數(shù)據(jù)的插入與統(tǒng)計實現(xiàn)

第3個主題：Sqoop

1.?Sqoop原理

2.?Sqoop使用詳解

3.?用Sqoop實現(xiàn)HDFS/Hive與關(guān)系數(shù)據(jù)庫的數(shù)據(jù)交互

4.?用Sqoop實現(xiàn)HBase與關(guān)系數(shù)據(jù)庫的數(shù)據(jù)交互

第4個主題：電商業(yè)日志流量分析項目

電商業(yè)日志流量分析項目，互聯(lián)網(wǎng)企業(yè)對海量日志的分析是Hadoop應(yīng)用的一個重要用途，也是對網(wǎng)站流量、客戶行為分析的重要途徑。該項目整合Hive、Hbase、Sqoop等常用組件，涉及從后臺處理到前臺呈現(xiàn)的每一個技術(shù)環(huán)節(jié)。包括：

1·業(yè)務(wù)需求介紹

2·數(shù)據(jù)建模

3·后臺算法設(shè)計

4·后臺業(yè)務(wù)處理

5·前臺WEB展示等

第5個主題：Hadoop開發(fā)者之路

1.?Hadoop技能模型

2.?Hadoop開發(fā)者最佳學(xué)習(xí)路線和方式

3.Hadoop開發(fā)者最佳成長路線