?云計算分布式大數(shù)據(jù)Hadoop培訓——

HDFS&MapReduce&HBase&Hive&集群管理培訓

第一部分：

第1個主題：Hadoop思考

1.Hadoop的設計目標和適用場景

2.Hadoop架構(gòu)解析

3.MapReduce工作原理和案例說明

第2個主題：?Hadoop安裝和配置實戰(zhàn)

1.?安裝和配置單機版Hadoop實戰(zhàn)

2.?安裝和配置偽分布式Hadoop實戰(zhàn)

3．安裝和配置分布式Hadoop集群實戰(zhàn)

第3個主題：HDFS

1.?HDFS命令行操作實戰(zhàn)

2.?HDFS的配置管理

3.?NameNode的工作機制

第4個主題：HDFS案例實戰(zhàn)

1.?HDFS案例的分析和設計

2.?環(huán)境搭建

3.使用Hadoop?Java?API實現(xiàn)對HDFS寫入、讀取、刪除文件等操作

第5個主題：MapReduce剖析

1.?MapReduce的原理和運行過程

2.?構(gòu)建MapReduce的開發(fā)環(huán)境

第6個主題：MapReduce案例實戰(zhàn)

1.?使用MapReduce的Java接口實現(xiàn)經(jīng)典的WordCount

2.?wordcount運行過程解析

3.?MapReduce實現(xiàn)數(shù)據(jù)去重操作

4.?MapReduce實現(xiàn)數(shù)據(jù)排序

5.?MapReduce實現(xiàn)數(shù)據(jù)平均數(shù)據(jù)的計算

第二部分：

第1個主題：HBase架構(gòu)設計和實現(xiàn)剖析

1.?HBase架構(gòu)設計

2.?HBase中的表結(jié)構(gòu)等

3.?HBase：Master、Region、Region?Server

第2個主題：HBase案例實戰(zhàn)1---使用HBase實現(xiàn)微博系統(tǒng)

1.?項目架構(gòu)和設計

2.?開發(fā)環(huán)境搭建

3.?實現(xiàn)用戶登錄和注銷

4.“關(guān)注”功能的設計和實現(xiàn)

5.“發(fā)微博”功能的設計和實現(xiàn)

6.發(fā)布和運行整個基于HBase的微博系統(tǒng)

第3個主題：HBase與MapReduce

1.?HBase與MapReduce的關(guān)系

2.?HBase如何使用MapReduce

第4個主題：HBase案例實戰(zhàn)2---話單查詢與統(tǒng)計

1.?項目架構(gòu)設計

2.?開發(fā)環(huán)境搭建

3.?話單入庫和查詢的設計與實現(xiàn)

4.統(tǒng)計功能的設計與實現(xiàn)

第5個主題：MapReduce高級實戰(zhàn)

1.?Split實現(xiàn)剖析

2.?自定義輸入的實現(xiàn)

3.?Reduce的partition?

4.?案例實戰(zhàn)

第6個主題：安裝和使用Hive

1.?Hive剖析

2.?安裝Hive

3.Hive的基本使用

第7個主題：Hive與HDFS、MapReduce

1.?Hive向HDFS存入結(jié)構(gòu)化數(shù)據(jù)

2.?使用MySQL作為Hive的元數(shù)據(jù)庫

3.Hive與MapReduce

第8個主題：Hive案例實戰(zhàn)---數(shù)據(jù)統(tǒng)計

1.?項目架構(gòu)設計

2.?表結(jié)構(gòu)設計

3.數(shù)據(jù)的插入與統(tǒng)計實現(xiàn)

第三部分：

第1個主題：Hadoop集群配置:機架感知,開啟壓縮和任務均衡

Hadoop?集群安裝和開啟LZO壓縮

Hadoop?配置集群具備機架感知

Hadoop?集群開啟公平任務調(diào)度器

Hadoop?集群開啟能力任務調(diào)度器

第2個主題：Hadoop?集群維護與管理

查看集群狀態(tài)

HDFS數(shù)據(jù)管理

Mapreduce?任務管理

HDFS安全模式

模擬集群Namenode,jobtrack失效

添加刪除節(jié)點

數(shù)據(jù)平衡

文件數(shù)據(jù)跨集群拷貝

集群升級

第3個主題：Hadoop?集群規(guī)劃和測試

1.?集群規(guī)劃(硬件,系統(tǒng),網(wǎng)絡)

2.?集群性能測試

第4個主題：Hadoop?集群監(jiān)控和運維

1.?使用Ganglia?監(jiān)控Hadoop集群

2.?使用Cacti?監(jiān)控操作系統(tǒng)

第5個主題：Hadoop?HDFS高可用

Hadoop?元數(shù)據(jù)NFS備份方案

Hadoop?SecondaryNameNode備份方案

Hadoop?CheckpointNode備份方案

Hadoop?BackupNode備份方案

Hadoop?Cloudera?HA?Namenode?方案

第6個主題：Hadoop開發(fā)者之路

1.?Hadoop技能模型

2.?Hadoop開發(fā)者最佳學習路線和方式

3.Hadoop開發(fā)者最佳成長路線