【培訓(xùn)對象】
1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員。
2，牽涉到數(shù)據(jù)挖掘和統(tǒng)計(jì)分析的數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計(jì)負(fù)責(zé)人。
3，政府機(jī)關(guān)，金融保險(xiǎn)、移動(dòng)和互聯(lián)網(wǎng)等大數(shù)據(jù)來源單位的負(fù)責(zé)人。
4，高校、科研院所牽涉到數(shù)據(jù)挖掘與統(tǒng)計(jì)分析處理的項(xiàng)目負(fù)責(zé)人。

【培訓(xùn)目標(biāo)】
1、全面了解大數(shù)據(jù)前沿技術(shù)的相關(guān)知識。
2、學(xué)習(xí)大數(shù)據(jù)前沿技術(shù)平臺、方法以及應(yīng)用特征。
3、學(xué)習(xí)使用大數(shù)據(jù)挖掘和分析中的使用。?
4、了解Hadoop、Spark等技術(shù)的融合使用。

【課程大綱】
第一講 大數(shù)據(jù)技術(shù)基礎(chǔ)
? 1）大數(shù)據(jù)應(yīng)用需求及潛在價(jià)值分析
? 2）大數(shù)據(jù)與數(shù)據(jù)庫解決方案的對比
? 3）國內(nèi)外主流的大數(shù)據(jù)解決方案
? 4）開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析
? 5）大數(shù)據(jù)下的技術(shù)選型與架構(gòu)設(shè)計(jì)
第二講 批處理大數(shù)據(jù)平臺Hadoop
? 1）Hadoop及其運(yùn)行架構(gòu)
? 2）HDFS分布式文件系統(tǒng)
? 3）MapReduce計(jì)算模型
? 4）HBase大表管理技術(shù)
? 5）Hadoop平臺使用和實(shí)操
第三講 實(shí)時(shí)大數(shù)據(jù)平臺Spark
1）Spark實(shí)時(shí)處理技術(shù)
2）彈性分布式數(shù)據(jù)集RDD?
? 3）Spark分布式計(jì)算框架
? 4）Spark的BDAS生態(tài)系統(tǒng)
? 5）Spark平臺使用和實(shí)操
第四講 流式大數(shù)據(jù)平臺Storm
? 1）流式大數(shù)據(jù)處理架構(gòu)
? 2）Storm在企業(yè)應(yīng)用介紹
? 3）Storm拓?fù)浼傲鞣纸M
? 4）Spout和Bolt詳解
? 5）分布式DPRC和Trident
6）Storm平臺使用和實(shí)操
第五講 Python網(wǎng)絡(luò)爬蟲
? 1）網(wǎng)絡(luò)爬蟲基礎(chǔ)
? 2）urllib和urllib2庫的用法
? 3）Python 正則表達(dá)式
? 4）Beautiful Soup使用
? 5）用Scrapy采集示例實(shí)操
第六講 大數(shù)據(jù)日志采集工具Flume
? 1）日志采集及Scribe介紹
2）Flume-NG數(shù)據(jù)流模型
? 3）Flume平臺架構(gòu)
? 4）Flume集群部署配置
? 5）Flume應(yīng)用案例實(shí)操
第七講 分布式消息訂閱工具Kafka
? 1）Kafka應(yīng)用介紹
? 2）Kafka平臺架構(gòu)
? 3）Kafka集群部署與配置
? 4）Kafka應(yīng)用案例實(shí)操
第八講 NoSQL云數(shù)據(jù)處理工具
?? 1）NoSQL技術(shù)及云數(shù)據(jù)庫介紹
?? 2）HBase列數(shù)據(jù)存儲及處理機(jī)制
?? 3）HBase高并發(fā)讀/寫實(shí)現(xiàn)及案例
?? 4）MongoDB文檔數(shù)據(jù)存儲及處理
?? 5）MongoDB操作實(shí)現(xiàn)及案例
第九講 大數(shù)據(jù)中的SQL工具
?? 1)大數(shù)據(jù)中的類SQL工具
?? 2) Hive設(shè)計(jì)目標(biāo)和數(shù)據(jù)模型
?? 3) Hive關(guān)鍵性技術(shù)和案例
?? 4) SparkSQL設(shè)計(jì)目標(biāo)和數(shù)據(jù)模型
?? 5) SparkSQL關(guān)鍵性技術(shù)和案例
第十講 大數(shù)據(jù)分析挖掘工具
? 1）大數(shù)據(jù)挖掘及知識模型的發(fā)現(xiàn)
? 2）大數(shù)據(jù)挖掘工具M(jìn)ahout和MLlib
? 3）推薦方法及MLlib電影推薦案例
? 4）分類方法及Mahout新聞分類案例
? 5）聚類方法及K-Means聚類案例
第十一講 資源虛擬化工具Docker
? 1）虛擬化和容器技術(shù)
? 2）LXC和Docker的發(fā)展
? 3）Docker架構(gòu)及特性
? 4）鏡像、容器和倉庫
? 5）Docker的執(zhí)行及其案例實(shí)操
第十二講 大數(shù)據(jù)技術(shù)展望
? 1）大數(shù)據(jù)分析技術(shù)展望
? 2）大數(shù)據(jù)平臺的發(fā)展展望
? 3）大數(shù)據(jù)挖掘的應(yīng)用展望