?
云計算分布式大數(shù)據(jù)Hadoop深入淺出案例驅(qū)動實戰(zhàn)培訓(xùn)課程
培訓(xùn)對象
軟件工程師；?
數(shù)據(jù)庫開發(fā)人員；?
網(wǎng)絡(luò)后臺開發(fā)人員；?
運維人員；
學(xué)員基礎(chǔ)
了解Linux系統(tǒng)；?
了解網(wǎng)絡(luò)；
了解Java；
課程大綱
?
| 主題 |
內(nèi)容 |
|
第1個主題：Hadoop思考
|
1.Hadoop的設(shè)計目標和適用場景?
2.Hadoop架構(gòu)解析?
3.MapReduce工作原理和案例說明
|
|
第2個主題： Hadoop安裝和配置實戰(zhàn)
|
1. 安裝和配置單機版Hadoop實戰(zhàn)?
2. 安裝和配置偽分布式Hadoop實戰(zhàn)?
3．安裝和配置分布式Hadoop集群實戰(zhàn)
|
|
第3個主題：HDFS
|
1. HDFS命令行操作實戰(zhàn)?
2. HDFS的配置管理?
3. NameNode的工作機制
|
|
第4個主題：HDFS案例實戰(zhàn)
|
1. HDFS案例的分析和設(shè)計?
2. 環(huán)境搭建?
3.使用Hadoop Java API實現(xiàn)對HDFS寫入、讀取、刪除文件等操作
|
|
第5個主題：MapReduce剖析
|
1. MapReduce的原理和運行過程?
2. 構(gòu)建MapReduce的開發(fā)環(huán)境
|
|
第6個主題：MapReduce案例實戰(zhàn)
|
1. 使用MapReduce的Java接口實現(xiàn)經(jīng)典的WordCount?
2. wordcount運行過程解析?
3. MapReduce實現(xiàn)數(shù)據(jù)去重操作?
4. MapReduce實現(xiàn)數(shù)據(jù)排序
5. MapReduce實現(xiàn)數(shù)據(jù)平均數(shù)據(jù)的計算
|
|
第1個主題：HBase架構(gòu)設(shè)計和實現(xiàn)剖析
|
1. HBase架構(gòu)設(shè)計?
2. HBase中的表結(jié)構(gòu)等?
3. HBase：Master、Region、Region Server
|
|
第2個主題：HBase案例實戰(zhàn)1---使用HBase實現(xiàn)微博系統(tǒng)
|
1. 項目架構(gòu)和設(shè)計?
2. 開發(fā)環(huán)境搭建?
3. 實現(xiàn)用戶登錄和注銷?
4.“關(guān)注”功能的設(shè)計和實現(xiàn)?
5.“發(fā)微博”功能的設(shè)計和實現(xiàn)?
6.發(fā)布和運行整個基于HBase的微博系統(tǒng)
|
|
第3個主題：HBase與MapReduce
|
1. HBase與MapReduce的關(guān)系?
2. HBase如何使用MapReduce
|
|
第4個主題：HBase案例實戰(zhàn)2---話單查詢與統(tǒng)計
|
1. 項目架構(gòu)設(shè)計?
2. 開發(fā)環(huán)境搭建?
3. 話單入庫和查詢的設(shè)計與實現(xiàn)
4.統(tǒng)計功能的設(shè)計與實現(xiàn)
|
|
第1個主題：MapReduce高級實戰(zhàn)
|
1. Split實現(xiàn)剖析?
2. 自定義輸入的實現(xiàn)?
3. Reduce的partition?
4. 案例實戰(zhàn)
|
|
第2個主題：安裝和使用Hive
|
1. Hive剖析?
2. 安裝Hive
3.Hive的基本使用
|
|
第3個主題：Hive與HDFS、MapReduce
|
1. Hive向HDFS存入結(jié)構(gòu)化數(shù)據(jù)?
2. 使用MySQL作為Hive的元數(shù)據(jù)庫?
3.Hive與MapReduce
|
|
第4個主題：Hive案例實戰(zhàn)---數(shù)據(jù)統(tǒng)計
|
1. 項目架構(gòu)設(shè)計?
2. 表結(jié)構(gòu)設(shè)計?
3.數(shù)據(jù)的插入與統(tǒng)計實現(xiàn)
|
|
第5個主題：Hadoop開發(fā)者之路
|
1. Hadoop技能模型?
2. Hadoop開發(fā)者最佳學(xué)習路線和方式
3.Hadoop開發(fā)者最佳成長路線
|
