本課程從大數(shù)據(jù)技術(shù)以及Hadoop實(shí)戰(zhàn)的角度，結(jié)合理論和實(shí)踐，全方位地介紹Hadoop這一高性能處理大數(shù)據(jù)工具的開發(fā)技巧。本課程涉及的主題包括：Hadoop分布式文件系統(tǒng)及Hadoop的I/O；MapReduce的的工作機(jī)制、類型和格式；如何構(gòu)建和管理Hadoop集群；Pig?Latin語言的使用技巧；Hive數(shù)據(jù)倉庫工具介紹；HBase和Zookeeper工具的使用和管理

；開源數(shù)據(jù)采集工具sqoop。????

?教學(xué)過程中提供案例分析幫助學(xué)員了解如何用Hadoop系列工具來解決具體的問題，并介紹從大數(shù)據(jù)中挖掘出有價(jià)值的信息的關(guān)鍵技術(shù)。本課程是一個(gè)針對問題討論解決方案的深入課程。教師對于上述領(lǐng)域有深入的理論研究與實(shí)踐經(jīng)驗(yàn)，在課程中將會(huì)針對這些問題與學(xué)員一起進(jìn)行研究，在關(guān)鍵點(diǎn)上還會(huì)搭建實(shí)驗(yàn)環(huán)境進(jìn)行實(shí)踐研究，以加深對于這些解決方案的理解。?

培訓(xùn)目標(biāo)?

1,?全面了解大數(shù)據(jù)處理技術(shù)的相關(guān)知識(shí)。?

2，學(xué)習(xí)Hadoop的核心技術(shù)方法以及應(yīng)用特征。?

3，深入使用Hadoop相關(guān)工具在大數(shù)據(jù)中的使用。??

4，掌握傳統(tǒng)數(shù)據(jù)中心向云計(jì)算中心轉(zhuǎn)換的關(guān)鍵技術(shù)。?

課程大綱

????第一講?云計(jì)算及大數(shù)據(jù)處理技術(shù)介紹

1）云計(jì)算的概念

2）云計(jì)算發(fā)展現(xiàn)狀

3）大數(shù)據(jù)的概念

4）大數(shù)據(jù)的應(yīng)用

5）大數(shù)據(jù)關(guān)鍵技術(shù)第二講?Google中的關(guān)鍵技術(shù)

1）GFS文件系統(tǒng)?

2）Chubby中的Paxos算法

3）MapReduce技術(shù)機(jī)制?

4）Bigtable表管理技術(shù)?第三講?Hadoop文件系統(tǒng)HDFS及其文件結(jié)構(gòu)

1）?Hadoop項(xiàng)目簡介

2）?HDFS體系結(jié)構(gòu)

3）?HDFS關(guān)鍵運(yùn)行機(jī)制

4）?Hadoop?vs?Google

5）?Hadoop?API????第四講?MapReduce編程模型及其應(yīng)用開發(fā)

1)MapReduce產(chǎn)生背景?

2)MapReduce編程模型?

3)MapReduce實(shí)現(xiàn)機(jī)制?

4)MapReduce案例分析?第五講?Pig?Latin及其使用

1）Pig?設(shè)計(jì)的目標(biāo)

2）Pig?Latine介紹?

3）Pig關(guān)鍵性技術(shù)

4）Pig的實(shí)用案例第六講?數(shù)據(jù)倉庫Hive使用

1)Hive設(shè)計(jì)目標(biāo)

2)Hive數(shù)據(jù)模型?

3)Hive關(guān)鍵性技術(shù)?

4)Hive的使用案例第七講?HBase和ZooKeeper使用

1）?Hbase運(yùn)行機(jī)制簡介

2）?HBase與?HDFS

3）?HBase的對外接口

4）?ZooKeeper的數(shù)據(jù)模型

5）?ZooKeeper的讀寫機(jī)制

6）?ZooKeeper的使用方法第八講?數(shù)據(jù)抽取工具Sqoop使用

1）數(shù)據(jù)抽取技術(shù)介紹

2）Sqoop中的關(guān)鍵技術(shù)

3）Sqoop數(shù)據(jù)抽取策略

4）數(shù)據(jù)挖掘及分析第九講?當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析

1）主流商業(yè)大數(shù)據(jù)解決方案比較?

2）主流開源云計(jì)算系統(tǒng)比較??

3）國內(nèi)代表性大數(shù)據(jù)平臺(tái)比較??第十講?各廠商最新的大數(shù)據(jù)產(chǎn)品介紹

1）IBM的大數(shù)據(jù)技術(shù)

2）HP的大數(shù)據(jù)技術(shù)

3）Teradata的大數(shù)據(jù)技術(shù)

4）其它廠商的大數(shù)據(jù)處理

課程對象

1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員。?

2，牽涉到大數(shù)據(jù)處理的數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計(jì)負(fù)責(zé)人。?

3，政府機(jī)關(guān)，金融保險(xiǎn)、移動(dòng)和互聯(lián)網(wǎng)等大數(shù)據(jù)來源單位的負(fù)責(zé)人。?

4，高校、科研院所牽涉到大數(shù)據(jù)與分布式數(shù)據(jù)處理的項(xiàng)目負(fù)責(zé)人。?學(xué)員基礎(chǔ)?

5，對IT系統(tǒng)設(shè)計(jì)有一定的理論與實(shí)踐經(jīng)驗(yàn)。?

6，有一定的數(shù)據(jù)倉庫與大數(shù)據(jù)處理的基礎(chǔ)知識(shí)