【培訓對象】
1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員。
2，牽涉到數(shù)據(jù)挖掘和統(tǒng)計分析的數(shù)據(jù)中心運行、規(guī)劃、設(shè)計負責人。
3，政府機關(guān)，金融保險、移動和互聯(lián)網(wǎng)等大數(shù)據(jù)來源單位的負責人。
4，高校、科研院所牽涉到數(shù)據(jù)挖掘與統(tǒng)計分析處理的項目負責人。

【培訓目標】
1、全面了解大數(shù)據(jù)前沿技術(shù)的相關(guān)知識。
2、學習大數(shù)據(jù)前沿技術(shù)平臺、方法以及應(yīng)用特征。
3、學習使用大數(shù)據(jù)挖掘和分析中的使用。?
4、了解Hadoop、Spark等技術(shù)的融合使用。

【課程大綱】
第一講 大數(shù)據(jù)技術(shù)基礎(chǔ)
? 1）大數(shù)據(jù)應(yīng)用需求及潛在價值分析
? 2）大數(shù)據(jù)與數(shù)據(jù)庫解決方案的對比
? 3）國內(nèi)外主流的大數(shù)據(jù)解決方案
? 4）開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析
? 5）大數(shù)據(jù)下的技術(shù)選型與架構(gòu)設(shè)計
第二講 批處理大數(shù)據(jù)平臺Hadoop
? 1）Hadoop及其運行架構(gòu)
? 2）HDFS分布式文件系統(tǒng)
? 3）MapReduce計算模型
? 4）HBase大表管理技術(shù)
? 5）Hadoop平臺使用和實操
第三講 實時大數(shù)據(jù)平臺Spark
1）Spark實時處理技術(shù)
2）彈性分布式數(shù)據(jù)集RDD?
? 3）Spark分布式計算框架
? 4）Spark的BDAS生態(tài)系統(tǒng)
? 5）Spark平臺使用和實操
第四講 流式大數(shù)據(jù)平臺Storm
? 1）流式大數(shù)據(jù)處理架構(gòu)
? 2）Storm在企業(yè)應(yīng)用介紹
? 3）Storm拓撲及流分組
? 4）Spout和Bolt詳解
? 5）分布式DPRC和Trident
6）Storm平臺使用和實操
第五講 Python網(wǎng)絡(luò)爬蟲
? 1）網(wǎng)絡(luò)爬蟲基礎(chǔ)
? 2）urllib和urllib2庫的用法
? 3）Python 正則表達式
? 4）Beautiful Soup使用
? 5）用Scrapy采集示例實操
第六講 大數(shù)據(jù)日志采集工具Flume
? 1）日志采集及Scribe介紹
2）Flume-NG數(shù)據(jù)流模型
? 3）Flume平臺架構(gòu)
? 4）Flume集群部署配置
? 5）Flume應(yīng)用案例實操
第七講 分布式消息訂閱工具Kafka
? 1）Kafka應(yīng)用介紹
? 2）Kafka平臺架構(gòu)
? 3）Kafka集群部署與配置
? 4）Kafka應(yīng)用案例實操
第八講 NoSQL云數(shù)據(jù)處理工具
?? 1）NoSQL技術(shù)及云數(shù)據(jù)庫介紹
?? 2）HBase列數(shù)據(jù)存儲及處理機制
?? 3）HBase高并發(fā)讀/寫實現(xiàn)及案例
?? 4）MongoDB文檔數(shù)據(jù)存儲及處理
?? 5）MongoDB操作實現(xiàn)及案例
第九講 大數(shù)據(jù)中的SQL工具
?? 1)大數(shù)據(jù)中的類SQL工具
?? 2) Hive設(shè)計目標和數(shù)據(jù)模型
?? 3) Hive關(guān)鍵性技術(shù)和案例
?? 4) SparkSQL設(shè)計目標和數(shù)據(jù)模型
?? 5) SparkSQL關(guān)鍵性技術(shù)和案例
第十講 大數(shù)據(jù)分析挖掘工具
? 1）大數(shù)據(jù)挖掘及知識模型的發(fā)現(xiàn)
? 2）大數(shù)據(jù)挖掘工具Mahout和MLlib
? 3）推薦方法及MLlib電影推薦案例
? 4）分類方法及Mahout新聞分類案例
? 5）聚類方法及K-Means聚類案例
第十一講 資源虛擬化工具Docker
? 1）虛擬化和容器技術(shù)
? 2）LXC和Docker的發(fā)展
? 3）Docker架構(gòu)及特性
? 4）鏡像、容器和倉庫
? 5）Docker的執(zhí)行及其案例實操
第十二講 大數(shù)據(jù)技術(shù)展望
? 1）大數(shù)據(jù)分析技術(shù)展望
? 2）大數(shù)據(jù)平臺的發(fā)展展望
? 3）大數(shù)據(jù)挖掘的應(yīng)用展望