主題

章節(jié)

詳細內(nèi)容

大數(shù)據(jù)平臺概覽

大數(shù)據(jù)處理平臺架構(gòu)基礎

大數(shù)據(jù)的產(chǎn)生背景、發(fā)展歷程
大數(shù)據(jù)和云計算的關(guān)系
大數(shù)據(jù)應用需求以及潛在價值分析
業(yè)界最新的大數(shù)據(jù)技術(shù)發(fā)展態(tài)勢與應用趨勢
大數(shù)據(jù)項目的技術(shù)選型與大數(shù)據(jù)處理系統(tǒng)架構(gòu)設計
“互聯(lián)網(wǎng)+”時代下的電子商務、制造業(yè)、零售批發(fā)業(yè)、電信運營商、互聯(lián)網(wǎng)金融業(yè)、網(wǎng)上銀行、電子政務、移動互聯(lián)網(wǎng)、教育信息化等行業(yè)應用實踐與應用案例剖析

業(yè)界主流的大數(shù)據(jù)技術(shù)產(chǎn)品與項目解決方案

國內(nèi)外主流的大數(shù)據(jù)解決方案介紹
當前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案的剖析比較
Apache大數(shù)據(jù)平臺方案剖析
CDH大數(shù)據(jù)平臺方案剖析
HDP大數(shù)據(jù)平臺方案剖析
開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析

Hadoop大數(shù)據(jù)平臺核心技術(shù)剖析

Hadoop的發(fā)展歷程以及產(chǎn)業(yè)界的實際應用介紹
Hadoop大數(shù)據(jù)平臺架構(gòu)
基于Hadoop平臺的PB級大數(shù)據(jù)存儲管理與分析處理的工作原理與機制
Hadoop的核心組件剖析

Hadoop的大數(shù)據(jù)體系架構(gòu)

Hadoop的起源

什么是大數(shù)據(jù)？
專有云上的混搭平臺設計
OLTP系統(tǒng)和OLAP系統(tǒng)
數(shù)據(jù)倉庫的基本概念
Google的基本思想

Hadoop的體系結(jié)構(gòu)和原理

海量數(shù)據(jù)的存儲HDFS

·??文件上傳的過程

·??文件下載的過程

·??原信息的合并過程

海量數(shù)據(jù)的計算MapReduce

·??YARN的工作原理

·??MapReduce作業(yè)執(zhí)行的過程和原理

HBase的基本架構(gòu)

Hadoop集群模式的安裝和配置

單機模式的安裝和配置
偽分布模式的安裝和配置
免密碼登錄的原理
配置Hadoop的集群環(huán)境
配置和使用HUE

Hadoop HA

集群的規(guī)劃
安裝Zookeeper集群環(huán)境
安裝配置hadoop集群
驗證HDFS的HA
驗證YARN

Hadoop應用案例分析

案例一：互聯(lián)網(wǎng)應用架構(gòu)
案例二：日志分析
案例三：Hadoop在淘寶的應用

分布式文件系統(tǒng)HDFS

訪問HDFS

使用命令行訪問HDFS文件系統(tǒng)
使用Java編程接口訪問HDFS文件系統(tǒng)

HDFS的高級特性

什么是HDFS的聯(lián)盟
HDFS的回收站
HDFS的配額
HDFS的權(quán)限

HDFS的底層原理

什么是RPC通信？
什么是動態(tài)代理？

HDFS的優(yōu)化

NameNode的優(yōu)化策略
SecondaryNameNode的優(yōu)化策略
文件存儲的優(yōu)化
HDFS的瓶頸和解決方案

HDFS的NameNode聯(lián)盟

什么是NameNode的聯(lián)盟
NameNode的體系架構(gòu)
搭建NameNode的聯(lián)盟架構(gòu)

分布式計算模型MapReduce和Yan

MapReduce基礎編程

MapReduce的基本概念和原理
數(shù)據(jù)在MapReduce的流動過程
第一個MapReduce程序和運行MapReduce程序

MapReduce高級編程

序列化的基本概念
編寫MapReduce序列化的程序
MapReduce的排序
MapReduce的分區(qū)
什么是Combiner
什么是Shuffle

Yarn的優(yōu)化

Yarn的內(nèi)存使用
Yarn的資源調(diào)度策略
MapReduce任務的優(yōu)化

數(shù)據(jù)分析引擎

數(shù)據(jù)分析之Hive

·??什么是Hive和Hive的體系結(jié)構(gòu)

·??安裝和配置Hive

·??使用HQL

·??Hive的客戶端：CLI客戶端和Java編程

·??接口

Hive的自定義函數(shù)
Hive的數(shù)據(jù)模型

·??內(nèi)部表

·??分區(qū)表

·??桶表

·??視圖

·??物化視圖

數(shù)據(jù)分析之Pig

什么是Pig和Pig的體系結(jié)構(gòu)
安裝和配置Pig
Pig的數(shù)據(jù)模型
使用Pig Latin語句進行數(shù)據(jù)的分析
Pig的自定義函數(shù)

數(shù)據(jù)交換引擎

Sqoop和Flume

使用Sqoop進行數(shù)據(jù)的交換

·??什么是Sqoop體系結(jié)構(gòu)

·??使用Sqoop進行數(shù)據(jù)的交換

使用Flume進行數(shù)據(jù)的采集

·??什么是Flume體系結(jié)構(gòu)

·??使用Flume進行數(shù)據(jù)的采集

基于HDFS的存儲系統(tǒng)

HBase數(shù)據(jù)庫

HBase簡介及其在Hadoop中的位置
HBASE的偽分布的搭建
HBASE的底層存儲模型和基本概念
HBASE的讀寫原理
HBASE的高級特性
HBase的體系結(jié)構(gòu)
HBASE Shell
HBASE的批量導入
HBASE的Java客戶端

分布式協(xié)調(diào)服務

Zookeeper

什么是Zookeeper?及其功能
Zookeeper的體系結(jié)構(gòu)和數(shù)據(jù)模型
Zookeeper安裝及測試
Zookeeper的Java接口
Watcher及內(nèi)部事件
Zookeeper的工作原理
基于ZooKeeper的大數(shù)據(jù)的HA架構(gòu)及其實現(xiàn)

基于Spark的大數(shù)據(jù)分析平臺

Scala編程語言

Scala語言基礎
Scala語言的面向?qū)ο?/span>
Scala語言的函數(shù)式編程
Scala中的集合
Scala語言的高級特性

Spark Core核心

什么是Spark？Spark生態(tài)圈
Spark的體系結(jié)構(gòu)與安裝部署
執(zhí)行Spark Demo程序
Spark運行機制及原理分析
Spark的算子
Spark RDD的高級算子
Spark基礎編程案例

Spark SQL數(shù)據(jù)分析引擎

Spark SQL基礎
使用數(shù)據(jù)源
性能優(yōu)化
在IDEA中開發(fā)Spark SQL程序

Spark Streaming流式計算框架

Structured Streaming基礎
Structured Streaming的程序模型
Datasets 和 DataFrames API
管理和監(jiān)控流式查詢

基于Hadoop和Spark大數(shù)據(jù)平臺的機器學習

Mahout和Spark MLlib

在機器學習中的使用，常用算法實戰(zhàn)（Mahout和spark MLlib）

·??Mahout與Spark MLLib

·??基于協(xié)同過濾算法

·??基于ALS協(xié)同過濾算法

·??基于Spark MLLib的邏輯回歸算法

下一代大數(shù)據(jù)處理引擎

Flink

Flink介紹
Flink的數(shù)據(jù)集
Flink兩種執(zhí)行模型
Flink-流計算模型-有界數(shù)據(jù)集處理
Flink的DataSet API
Flink的DataStream API
廣播變量、累加器和計數(shù)器
狀態(tài)管理和恢復
Window和Time
Flink Table & SQL