大數據架構設計實戰演練培訓課程

?

• 主要希望幫助培訓方解決的問題，
• 理解大數據平臺的架構與各組件的使用場景，
• 核心的組件的架構設計與原理，
• 使用中的經驗分享，
• 互聯網行業的使用案例，使其幫助客戶有大數據行業入門的思維，能夠自行搭建大數據平臺，完成一些數據對接與分析能力、并且提升對大數據平臺的認識與理解。

• 一、云計算	云計算架構概覽 云計算能帶來什么好處 云計算之虛擬機 云計算之大數據 經典的使用案例
  二、大數據之分布式存儲	分布式存儲-HDFS 大數據的好處 大數據的核心架構 企業使用大數據的案例 什么是分布式文件系統和HDFS HDFS設計目標 HDFS的基本組件 HDFS架構圖和工作原理 HDFS服務進程詳解 HDFS的未來發展 NameNode詳解 DataNode詳解 HDFS副本備份策略
  三、分布式存儲實戰	HDFS實戰-命令行等使用 HDFS安裝須知 HDFS命令行工具 啟動、停止HDFS服務 如何查看HDFS日志 如何查看HDFS Web控制臺 HDFS參數配置 上機練習 HDFS實戰-Java API使用 Eclipse 開發環境介紹 HDFS 開發基本步驟 HDFS Java API詳解 oConfiguration oPath oFileSystem oStream、IOUtils HDFS Java API使用場景示例 FuseHDFS WebHDFS RESTful API 上機練習
  四、大數據之分布式計算	什么是MapReduce MapReduce服務 MapReduce服務 MapReduce作業執行流程 MapReduce錯誤處理機制 MapReduce高級特性 MapReduce任務調度 MapReduce任務調度
  五、分布式計算實戰	MapReduce命令行使用 啟動、停止MapReduce服務 查看MapReduce日志 查看MapReduce控制臺 MapReduce參數配置 MapReduce 編程實戰 MapReduce框架類庫介紹 開發MapReduce程序步驟 WordCount流程分解 WordCount代碼分析 上機練習 Hadoop IO 框架 為什么要學習Hadoop I/O框架 序列化 SequenceFile MapFile 數據完整性 數據壓縮 上機練習
  六、大數據之數據倉庫-Ｈive	什么是Hive？ Hive的架構原理 如何利用Hive來建造數據倉庫？ Hive的使用 HQL的調優： 操作練習
  七、大數據之NOSQL-Ｈbase	什么是Hbase？ Hbase的架構原理 Hbase核心知識點 HBase列族與列 HBase時間戳 HBase物理模型 數據存儲結構:LSM HBase Log HBase Filter HBase安裝 配置與優化 表設計與相關參數 操作練習
  八、大數據之內存計算-Spark	Spark架構介紹 Scala介紹 Mesos介紹 Spark介紹 Spark原理及架構剖析 Spark RDD計算模型解析 Spark的任務執行機制解析 Spark的調試與任務分配 Spark的容錯機制剖析 Spark集群部署 Standalone 集群分布式 與HDFS結合 Spark Shell命令行分析 構建與運行Spark應用 Spark RDD操作方法解析 Spark作業測試解析 Spark的性能調優 Spark生態體系剖析 SPARK SQL SPARK ML SPARK Streaming Spark應用實踐
  九、大數據之資源管理-Yarn	Yarn 與MapReduce的不同 Yarn 原理與架構 Apache YARN基本框架 Apache YARN工作流程 Apache YARN設計細節 Yarn 核心技術模塊原理解析 Yarn ResouceManager原理解析 Yarn NodeManager 原理解析 Yarn ApplicationMaster MapReduce與YARN結合 如何與Yarn來結合 Yarn 配置及搭建
  十、大數據之分析腳本工具-Pig	Pig基礎 使用Pig進行簡單數據分析 使用Pig處理復雜數據 使用Pig分析處理多數據集 擴展Pig Pig排錯和優化
  十一、數據安全	安全體系圖 應用安全、數據安全 多級認證體系 產品安全思路 學員實際演練與老師現場指導
  十二、云計算運維體系	云計算運維體系架構圖 服務可靠性 提高服務質量 降低服務成本 現場演示：實際項目中云計算運維體系架構圖。
  十三、大練習：以實際項目案例為基礎	進行云計算分布式架構的設計思路和流程實際演練。 （此內容是本課程的重點內容，課程壓軸大作，從而 使云計算架構設計最終落地）