?
培訓(xùn)特色
課程內(nèi)容：理解大數(shù)據(jù)和面臨大數(shù)據(jù)帶來(lái)的挑戰(zhàn)，互聯(lián)網(wǎng)網(wǎng)時(shí)代數(shù)據(jù)已經(jīng)是公司的成敗，對(duì)海量數(shù)的存儲(chǔ)、計(jì)算、分析和挖掘等目前是很多互聯(lián)網(wǎng)公司的核心，例如廣告的推薦、商品推薦等，還可以挖掘數(shù)據(jù)來(lái)分析用戶(hù)的潛在價(jià)值，面對(duì)數(shù)據(jù)快速的增長(zhǎng)，存儲(chǔ)和計(jì)算變得很重要，課程中我們使用hadoop來(lái)解決海量數(shù)據(jù)所帶來(lái)的一些問(wèn)題，Hadoop目前已經(jīng)備受互聯(lián)網(wǎng)的親耐，hadoop已經(jīng)成為海量數(shù)據(jù)處理必不可少的一個(gè)工具，也是最流行的一個(gè)海量數(shù)據(jù)存儲(chǔ)和計(jì)算的框架，此外還有hive、Hbase、sqoop等框架的培訓(xùn)。
目標(biāo)收益
Hadoop這門(mén)課程從理論到實(shí)戰(zhàn)再到公司的項(xiàng)目，還有hadoop集群的搭建和性能的調(diào)優(yōu)，再到HDFS性能的測(cè)試和MapReduce性能的測(cè)試再到網(wǎng)絡(luò)的需求等全面的詳解Hadoop的開(kāi)發(fā)和維護(hù)，深刻理解MapReduce的原理，能過(guò)使用mapreduce進(jìn)行高級(jí)編程，使用Hive進(jìn)行數(shù)據(jù)分析，使用Hbase進(jìn)行線上分析，關(guān)系型數(shù)據(jù)和HDFS、hive之間的相互遷移，理解Hadoop的使用場(chǎng)景，面對(duì)一個(gè)需求適不適合使用hadoop。
培訓(xùn)對(duì)象
大數(shù)據(jù)愛(ài)好者、程序員、數(shù)據(jù)分析師，項(xiàng)目經(jīng)理和對(duì)已經(jīng)使用hadoop，想提高的用戶(hù)。
學(xué)員基礎(chǔ)
學(xué)員學(xué)習(xí)本課程應(yīng)具備下列基礎(chǔ)知識(shí)：
1)了解Java或者python和shell語(yǔ)言；
2)了解Linux系統(tǒng)；
課程大綱
?
| 主題 |
內(nèi)容 |
|
Hadoop的來(lái)源和動(dòng)機(jī)
|
1.傳統(tǒng)大規(guī)模系統(tǒng)存在的問(wèn)題n2.Hadoop概述n3.Hadoop分布式文件系統(tǒng) n4.MapReduce工作原理 n5.Hadoop集群剖析n6.Hadoop生態(tài)系統(tǒng)對(duì)一種新的解決方案的需求n7.Hadoop的行業(yè)應(yīng)用案例分析n8.Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系
|
|
Hadoop集群規(guī)劃
|
1.Hadoop 集群內(nèi)存要求n? Namenode的機(jī)器配置n? Datanode的機(jī)器配置n? SNN的機(jī)器配置n2.Hadoop集群磁盤(pán)分區(qū)n3.集群和網(wǎng)絡(luò)拓?fù)湟髇4.集群軟件的端口配置
|
|
Hadoop簡(jiǎn)介和生態(tài)系統(tǒng)介紹
|
1.傳統(tǒng)大規(guī)模數(shù)據(jù)分析存在的問(wèn)題n2.Hadoop概述n3.Hadoop與分布式文件系統(tǒng) n4.Hadoop生態(tài)系統(tǒng)n5.Hadoop的行業(yè)應(yīng)用案例分析n6.Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系n7.Hadoop版本介紹n8.Hadoop與Google FS的關(guān)系n9.Hadoop在國(guó)內(nèi)的使用情況和未來(lái)
|
|
Hadoop安裝和主要配置文件介紹
|
1.Hadoop安裝所需軟件介紹n2.Hadoop單機(jī)安裝n3.Hadoop偽分布式安裝n4.Hadoop完全分布式安裝n5.Hadoop三個(gè)節(jié)點(diǎn)安裝的配置介紹n6.Hahoop多節(jié)點(diǎn)ssh配置n7.Hadoop格式化詳解n8.Hadoop核心配置文件介紹n9.核心配置文件core-site.xmln10.HDFS配置文件hdfs-site.xmln11.Mapreduce配置文件mapred-site.xmln12.master文件配置詳解n13.slave文件配置詳解n14.Hadoop啟動(dòng)和停止方法一n—start-all.sh詳解n—stop-all.sh詳解n15.Hadoop的啟動(dòng)和停止方法二n—hadoop-deamon.sh詳解n16.Hadoop安裝的常見(jiàn)錯(cuò)誤介紹和解決方案n17.使用自帶的wordcount和pi測(cè)試集群安裝是否成功n18.使用Streaming來(lái)測(cè)試集群安裝是否成功
|
|
Hadoop組件介紹
|
1.Hadoop NameNode 介紹n2.Hadoop SecondaryNameNode 介紹n3.Hadoop DataNode 介紹n4.Hadoop JobTracker 介紹n5.Hadoop TaskTracker 介紹
|
|
Hadoop的HDFS模塊
|
1.HDFS架構(gòu)介紹n2.HDFS原理介紹n3.NameNode功能詳解n4.DataNode功能詳解n5.SecondaryNameNode功能詳解n6.HSFD的fsimage和editslog詳解n7.HDFS的block詳解n8.HDFS的block的備份策略n9.Hadoop的機(jī)架感知配置n10.HDFS的shell命令介紹n11.HDFS的thrift server服務(wù)介紹n12.HDFS的API接口介紹n13.HDFS的權(quán)限詳解n14.Hadoop的客服端接入案例
|
|
MapReducer入門(mén)和高級(jí)開(kāi)發(fā)實(shí)戰(zhàn)
|
1.Mapreduce原理n2.MapReduce流程n3.剖析一個(gè)MapReduce程序n4.Mapper和Reducer抽象類(lèi)詳解n5.Mapreduce的最小驅(qū)動(dòng)類(lèi)n6.MapReduce自帶的類(lèi)型n7.自定義Writables和WritableComparablesn8.Mapreduce的輸入InputFormatsn9.MapReduce的輸出OutputFormatsn10.自定義InputFormatn11.自定義InputSPlitsn12.自定義RecorderReadern13.Combiner詳解n14.Partitioner詳解n15.DistributeFileSystem詳解n16.Hadoop Tools工具介紹n17.Counter計(jì)數(shù)器詳解n18.自定義Counter計(jì)數(shù)器n19.基于Hadoop二次開(kāi)發(fā)實(shí)戰(zhàn)n20.MapReduce的優(yōu)化n21.Map和Reduce的個(gè)數(shù)設(shè)置n22.Hadoop小文件優(yōu)化n23.任務(wù)調(diào)度n24.默認(rèn)的任務(wù)調(diào)度n25.公平任務(wù)調(diào)度n26.能力任務(wù)調(diào)度n27.使用 Hadoop MapReduce Streaming 編程n28.MapReduce的單元測(cè)試
|
|
Hive的使用和實(shí)戰(zhàn)
|
1.Hive和Pig基礎(chǔ)n2.Hive、Impala和presto的比較 n3.Hive的作用和原理說(shuō)明n4.Hadoop倉(cāng)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)作關(guān)系n5.Hadoop/Hive倉(cāng)庫(kù)數(shù)據(jù)數(shù)據(jù)流n6.Hive 部署和安裝n7.Hive Cli 的基本用法n8.Hive的server啟動(dòng)n9.HQL基本語(yǔ)法n10.Hive的加載數(shù)據(jù)本地加載和HDFS加載n11.Hive的partition詳解n12.Hive的存儲(chǔ)方式詳解n13.RCFILE、TEXTFILE和SEQUEUEFILEn14.Hive的UDF和UDAFn15.Hive的transform詳解n16.Hive的JDBC連接
|
|
Hbase使用
|
1.Hbase原理n2.Hmaster詳解n3.RegionServer詳解n4.Zookeeper介紹n5. Hbase安裝n6.Hbase邏輯視圖介紹n7.Hbase物理視圖介紹n8.Hbase的二級(jí)索引介紹n9.Hbase 的DDL和DMLn10.Hbase表的設(shè)計(jì)案例n11.Hbase的import功能介紹n12.MapReduce操作Hbasen13.Hbase的 thrift Server介紹n14.Hbase 的API介紹n15.Hbase案例分析
|
|
Hadoop安全和性能優(yōu)化
|
1.Hadoop的可伸縮性應(yīng)用n2.Hadoop的線性伸縮性n3. Hadoop的最佳實(shí)戰(zhàn)n4.Map/Reduce性能測(cè)試n5.HDFS的性能測(cè)試n6.Hadoop企業(yè)級(jí)架構(gòu)n7.Hadoop的安全實(shí)戰(zhàn)n8.Hadoop的運(yùn)維知識(shí)總結(jié)
|
|
Hadoop集群配置介紹和維護(hù)
|
1.Hadoop集群的部署要點(diǎn)n2.NameNode和SecondaryNameNode和JobTracker機(jī)器的配置要求n3.dataNode與tasktracker機(jī)器的配置要求n4.Hadoop集群管理的工具介紹n5.Ganglia和nigos監(jiān)控Hadoop集群介紹n6.Ambri介紹n7.添加和刪除節(jié)點(diǎn)演示n8.Namenode的單點(diǎn)解決方案n9.NameNode的NFS備份介紹n10.集群所有dataNode掛掉的故障介紹n11.集群NameNode的fsimage丟掉恢復(fù)方法n12.Hadoop集群維護(hù)的注意點(diǎn)
|
|
Sqoop介紹
|
1.Sqoop是什么n2.Sqoop安裝n3.Sqoop把mysql數(shù)據(jù)導(dǎo)入HDFSn4.Sqoop把HDFS數(shù)據(jù)導(dǎo)入Mysqln5.Sqoop吧Mysql數(shù)據(jù)導(dǎo)入Hiven6.Sqoop吧Mysql數(shù)據(jù)導(dǎo)入Hive分區(qū)
|
