Hadoop開發(fā)培訓(xùn)課程

課程目標(biāo)

此課程面向企業(yè)軟件工程師、數(shù)據(jù)庫工程師、以及對(duì)Hadoop開發(fā)感興趣的各類技術(shù)人員。通過此課程的學(xué)習(xí)，學(xué)員可以全面掌握Hadoop的架構(gòu)原理和使用場(chǎng)景，并通過貫穿課程的習(xí)題項(xiàng)目進(jìn)行實(shí)戰(zhàn)鍛煉，從而熟練使用Hadoop進(jìn)行MapReduce程序開發(fā)。

培訓(xùn)大綱：

Hadoop背景介紹

Hadoop生態(tài)系統(tǒng)概覽

Hadoop分布式文件系統(tǒng)(HDFS)

什么是HDFS

HDFS設(shè)計(jì)目標(biāo)

HDFS系統(tǒng)特點(diǎn)

HDFS工作原理

HDFS服務(wù)進(jìn)程

HDFS使用

HDFS命令行工具

啟動(dòng)、停止HDFS服務(wù)

如何查看HDFS日志

查看HDFS?Web控制臺(tái)

HDFS配置參數(shù)

上機(jī)開發(fā)環(huán)境介紹

HDFS開發(fā)

Java?API詳解

FuseHDFS

WebHDFS?Restful?API

MapReduce分布式計(jì)算框架

什么是MapReduce

MapReduce服務(wù)

MapReduce工作機(jī)制

MapReduce調(diào)度管理

MapReduce參數(shù)設(shè)置

啟動(dòng)、停止MapReduce服務(wù)

如何查看MapReduce日志

查看MapReduce?Web控制臺(tái)

MapReduce示例程序解析

MapReduce框架類庫介紹

MapReduce實(shí)戰(zhàn)，你的第一個(gè)MapReduce項(xiàng)目

項(xiàng)目需求簡述

項(xiàng)目設(shè)計(jì)討論

項(xiàng)目偽代碼分析

項(xiàng)目實(shí)現(xiàn)，上機(jī)練習(xí)

MapReduce進(jìn)階實(shí)戰(zhàn)

項(xiàng)目性能優(yōu)化

項(xiàng)目結(jié)果分類匯總

項(xiàng)目結(jié)果排序

如何用其它語言開發(fā)MapReduce應(yīng)用

MapReduce常用算法（Sort、Index、Join、IF-IDF等）介紹

Hadoop生態(tài)系統(tǒng)介紹

HBase入門

利用Oozie對(duì)MapReduce任務(wù)進(jìn)行調(diào)度

利用Flume?NG?和?Sqoop與各種數(shù)據(jù)源對(duì)接

利用Hive和Pig來簡化MapReduce的開發(fā)

ZooKeeper介紹