?

• 主要希望幫助培訓(xùn)方解決的問題，
• 理解大數(shù)據(jù)平臺的架構(gòu)與各組件的使用場景，
• 核心的組件的架構(gòu)設(shè)計與原理，
• 使用中的經(jīng)驗分享，
• 互聯(lián)網(wǎng)行業(yè)的使用案例，使其幫助客戶有大數(shù)據(jù)行業(yè)入門的思維，能夠自行搭建大數(shù)據(jù)平臺，完成一些數(shù)據(jù)對接與分析能力、并且提升對大數(shù)據(jù)平臺的認識與理解。

• 一、云計算	云計算架構(gòu)概覽 云計算能帶來什么好處 云計算之虛擬機 云計算之大數(shù)據(jù) 經(jīng)典的使用案例
  二、大數(shù)據(jù)之分布式存儲	分布式存儲-HDFS 大數(shù)據(jù)的好處 大數(shù)據(jù)的核心架構(gòu) 企業(yè)使用大數(shù)據(jù)的案例 什么是分布式文件系統(tǒng)和HDFS HDFS設(shè)計目標 HDFS的基本組件 HDFS架構(gòu)圖和工作原理 HDFS服務(wù)進程詳解 HDFS的未來發(fā)展 NameNode詳解 DataNode詳解 HDFS副本備份策略
  三、分布式存儲實戰(zhàn)	HDFS實戰(zhàn)-命令行等使用 HDFS安裝須知 HDFS命令行工具 啟動、停止HDFS服務(wù) 如何查看HDFS日志 如何查看HDFS Web控制臺 HDFS參數(shù)配置 上機練習(xí) HDFS實戰(zhàn)-Java API使用 Eclipse 開發(fā)環(huán)境介紹 HDFS 開發(fā)基本步驟 HDFS Java API詳解 oConfiguration oPath oFileSystem oStream、IOUtils HDFS Java API使用場景示例 FuseHDFS WebHDFS RESTful API 上機練習(xí)
  四、大數(shù)據(jù)之分布式計算	什么是MapReduce MapReduce服務(wù) MapReduce服務(wù) MapReduce作業(yè)執(zhí)行流程 MapReduce錯誤處理機制 MapReduce高級特性 MapReduce任務(wù)調(diào)度 MapReduce任務(wù)調(diào)度
  五、分布式計算實戰(zhàn)	MapReduce命令行使用 啟動、停止MapReduce服務(wù) 查看MapReduce日志 查看MapReduce控制臺 MapReduce參數(shù)配置 MapReduce 編程實戰(zhàn) MapReduce框架類庫介紹 開發(fā)MapReduce程序步驟 WordCount流程分解 WordCount代碼分析 上機練習(xí) Hadoop IO 框架 為什么要學(xué)習(xí)Hadoop I/O框架 序列化 SequenceFile MapFile 數(shù)據(jù)完整性 數(shù)據(jù)壓縮 上機練習(xí)
  六、大數(shù)據(jù)之?dāng)?shù)據(jù)倉庫-Ｈive	什么是Hive？ Hive的架構(gòu)原理 如何利用Hive來建造數(shù)據(jù)倉庫？ Hive的使用 HQL的調(diào)優(yōu)： 操作練習(xí)
  七、大數(shù)據(jù)之NOSQL-Ｈbase	什么是Hbase？ Hbase的架構(gòu)原理 Hbase核心知識點 HBase列族與列 HBase時間戳 HBase物理模型 數(shù)據(jù)存儲結(jié)構(gòu):LSM HBase Log HBase Filter HBase安裝 配置與優(yōu)化 表設(shè)計與相關(guān)參數(shù) 操作練習(xí)
  八、大數(shù)據(jù)之內(nèi)存計算-Spark	Spark架構(gòu)介紹 Scala介紹 Mesos介紹 Spark介紹 Spark原理及架構(gòu)剖析 Spark RDD計算模型解析 Spark的任務(wù)執(zhí)行機制解析 Spark的調(diào)試與任務(wù)分配 Spark的容錯機制剖析 Spark集群部署 Standalone 集群分布式 與HDFS結(jié)合 Spark Shell命令行分析 構(gòu)建與運行Spark應(yīng)用 Spark RDD操作方法解析 Spark作業(yè)測試解析 Spark的性能調(diào)優(yōu) Spark生態(tài)體系剖析 SPARK SQL SPARK ML SPARK Streaming Spark應(yīng)用實踐
  九、大數(shù)據(jù)之資源管理-Yarn	Yarn 與MapReduce的不同 Yarn 原理與架構(gòu) Apache YARN基本框架 Apache YARN工作流程 Apache YARN設(shè)計細節(jié) Yarn 核心技術(shù)模塊原理解析 Yarn ResouceManager原理解析 Yarn NodeManager 原理解析 Yarn ApplicationMaster MapReduce與YARN結(jié)合 如何與Yarn來結(jié)合 Yarn 配置及搭建
  十、大數(shù)據(jù)之分析腳本工具-Pig	Pig基礎(chǔ) 使用Pig進行簡單數(shù)據(jù)分析 使用Pig處理復(fù)雜數(shù)據(jù) 使用Pig分析處理多數(shù)據(jù)集 擴展Pig Pig排錯和優(yōu)化
  十一、數(shù)據(jù)安全	安全體系圖 應(yīng)用安全、數(shù)據(jù)安全 多級認證體系 產(chǎn)品安全思路 學(xué)員實際演練與老師現(xiàn)場指導(dǎo)
  十二、云計算運維體系	云計算運維體系架構(gòu)圖 服務(wù)可靠性 提高服務(wù)質(zhì)量 降低服務(wù)成本 現(xiàn)場演示：實際項目中云計算運維體系架構(gòu)圖。
  十三、大練習(xí)：以實際項目案例為基礎(chǔ)	進行云計算分布式架構(gòu)的設(shè)計思路和流程實際演練。 （此內(nèi)容是本課程的重點內(nèi)容，課程壓軸大作，從而 使云計算架構(gòu)設(shè)計最終落地）