主題

章節(jié)

詳細(xì)內(nèi)容

大數(shù)據(jù)平臺(tái)概覽

大數(shù)據(jù)處理平臺(tái)架構(gòu)基礎(chǔ)

大數(shù)據(jù)的產(chǎn)生背景、發(fā)展歷程
大數(shù)據(jù)和云計(jì)算的關(guān)系
大數(shù)據(jù)應(yīng)用需求以及潛在價(jià)值分析
業(yè)界最新的大數(shù)據(jù)技術(shù)發(fā)展態(tài)勢(shì)與應(yīng)用趨勢(shì)
大數(shù)據(jù)項(xiàng)目的技術(shù)選型與大數(shù)據(jù)處理系統(tǒng)架構(gòu)設(shè)計(jì)
“互聯(lián)網(wǎng)+”時(shí)代下的電子商務(wù)、制造業(yè)、零售批發(fā)業(yè)、電信運(yùn)營(yíng)商、互聯(lián)網(wǎng)金融業(yè)、網(wǎng)上銀行、電子政務(wù)、移動(dòng)互聯(lián)網(wǎng)、教育信息化等行業(yè)應(yīng)用實(shí)踐與應(yīng)用案例剖析

業(yè)界主流的大數(shù)據(jù)技術(shù)產(chǎn)品與項(xiàng)目解決方案

國(guó)內(nèi)外主流的大數(shù)據(jù)解決方案介紹
當(dāng)前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫(kù)方案的剖析比較
Apache大數(shù)據(jù)平臺(tái)方案剖析
CDH大數(shù)據(jù)平臺(tái)方案剖析
HDP大數(shù)據(jù)平臺(tái)方案剖析
開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺(tái)剖析

Hadoop大數(shù)據(jù)平臺(tái)核心技術(shù)剖析

Hadoop的發(fā)展歷程以及產(chǎn)業(yè)界的實(shí)際應(yīng)用介紹
Hadoop大數(shù)據(jù)平臺(tái)架構(gòu)
基于Hadoop平臺(tái)的PB級(jí)大數(shù)據(jù)存儲(chǔ)管理與分析處理的工作原理與機(jī)制
Hadoop的核心組件剖析

Hadoop的大數(shù)據(jù)體系架構(gòu)

Hadoop的起源

什么是大數(shù)據(jù)？
專有云上的混搭平臺(tái)設(shè)計(jì)
OLTP系統(tǒng)和OLAP系統(tǒng)
數(shù)據(jù)倉(cāng)庫(kù)的基本概念
Google的基本思想

Hadoop的體系結(jié)構(gòu)和原理

海量數(shù)據(jù)的存儲(chǔ)HDFS

·??文件上傳的過(guò)程

·??文件下載的過(guò)程

·??原信息的合并過(guò)程

海量數(shù)據(jù)的計(jì)算MapReduce

·??YARN的工作原理

·??MapReduce作業(yè)執(zhí)行的過(guò)程和原理

HBase的基本架構(gòu)

Hadoop集群模式的安裝和配置

單機(jī)模式的安裝和配置
偽分布模式的安裝和配置
免密碼登錄的原理
配置Hadoop的集群環(huán)境
配置和使用HUE

Hadoop HA

集群的規(guī)劃
安裝Zookeeper集群環(huán)境
安裝配置hadoop集群
驗(yàn)證HDFS的HA
驗(yàn)證YARN

Hadoop應(yīng)用案例分析

案例一：互聯(lián)網(wǎng)應(yīng)用架構(gòu)
案例二：日志分析
案例三：Hadoop在淘寶的應(yīng)用

分布式文件系統(tǒng)HDFS

訪問(wèn)HDFS

使用命令行訪問(wèn)HDFS文件系統(tǒng)
使用Java編程接口訪問(wèn)HDFS文件系統(tǒng)

HDFS的高級(jí)特性

什么是HDFS的聯(lián)盟
HDFS的回收站
HDFS的配額
HDFS的權(quán)限

HDFS的底層原理

什么是RPC通信？
什么是動(dòng)態(tài)代理？

HDFS的優(yōu)化

NameNode的優(yōu)化策略
SecondaryNameNode的優(yōu)化策略
文件存儲(chǔ)的優(yōu)化
HDFS的瓶頸和解決方案

HDFS的NameNode聯(lián)盟

什么是NameNode的聯(lián)盟
NameNode的體系架構(gòu)
搭建NameNode的聯(lián)盟架構(gòu)

分布式計(jì)算模型MapReduce和Yan

MapReduce基礎(chǔ)編程

MapReduce的基本概念和原理
數(shù)據(jù)在MapReduce的流動(dòng)過(guò)程
第一個(gè)MapReduce程序和運(yùn)行MapReduce程序

MapReduce高級(jí)編程

序列化的基本概念
編寫MapReduce序列化的程序
MapReduce的排序
MapReduce的分區(qū)
什么是Combiner
什么是Shuffle

Yarn的優(yōu)化

Yarn的內(nèi)存使用
Yarn的資源調(diào)度策略
MapReduce任務(wù)的優(yōu)化

數(shù)據(jù)分析引擎

數(shù)據(jù)分析之Hive

·??什么是Hive和Hive的體系結(jié)構(gòu)

·??安裝和配置Hive

·??使用HQL

·??Hive的客戶端：CLI客戶端和Java編程

·??接口

Hive的自定義函數(shù)
Hive的數(shù)據(jù)模型

·??內(nèi)部表

·??分區(qū)表

·??桶表

·??視圖

·??物化視圖

數(shù)據(jù)分析之Pig

什么是Pig和Pig的體系結(jié)構(gòu)
安裝和配置Pig
Pig的數(shù)據(jù)模型
使用Pig Latin語(yǔ)句進(jìn)行數(shù)據(jù)的分析
Pig的自定義函數(shù)

數(shù)據(jù)交換引擎

Sqoop和Flume

使用Sqoop進(jìn)行數(shù)據(jù)的交換

·??什么是Sqoop體系結(jié)構(gòu)

·??使用Sqoop進(jìn)行數(shù)據(jù)的交換

使用Flume進(jìn)行數(shù)據(jù)的采集

·??什么是Flume體系結(jié)構(gòu)

·??使用Flume進(jìn)行數(shù)據(jù)的采集

基于HDFS的存儲(chǔ)系統(tǒng)

HBase數(shù)據(jù)庫(kù)

HBase簡(jiǎn)介及其在Hadoop中的位置
HBASE的偽分布的搭建
HBASE的底層存儲(chǔ)模型和基本概念
HBASE的讀寫原理
HBASE的高級(jí)特性
HBase的體系結(jié)構(gòu)
HBASE Shell
HBASE的批量導(dǎo)入
HBASE的Java客戶端

分布式協(xié)調(diào)服務(wù)

Zookeeper

什么是Zookeeper?及其功能
Zookeeper的體系結(jié)構(gòu)和數(shù)據(jù)模型
Zookeeper安裝及測(cè)試
Zookeeper的Java接口
Watcher及內(nèi)部事件
Zookeeper的工作原理
基于ZooKeeper的大數(shù)據(jù)的HA架構(gòu)及其實(shí)現(xiàn)

基于Spark的大數(shù)據(jù)分析平臺(tái)

Scala編程語(yǔ)言

Scala語(yǔ)言基礎(chǔ)
Scala語(yǔ)言的面向?qū)ο?/span>
Scala語(yǔ)言的函數(shù)式編程
Scala中的集合
Scala語(yǔ)言的高級(jí)特性

Spark Core核心

什么是Spark？Spark生態(tài)圈
Spark的體系結(jié)構(gòu)與安裝部署
執(zhí)行Spark Demo程序
Spark運(yùn)行機(jī)制及原理分析
Spark的算子
Spark RDD的高級(jí)算子
Spark基礎(chǔ)編程案例

Spark SQL數(shù)據(jù)分析引擎

Spark SQL基礎(chǔ)
使用數(shù)據(jù)源
性能優(yōu)化
在IDEA中開發(fā)Spark SQL程序

Spark Streaming流式計(jì)算框架

Structured Streaming基礎(chǔ)
Structured Streaming的程序模型
Datasets 和 DataFrames API
管理和監(jiān)控流式查詢

基于Hadoop和Spark大數(shù)據(jù)平臺(tái)的機(jī)器學(xué)習(xí)

Mahout和Spark MLlib

在機(jī)器學(xué)習(xí)中的使用，常用算法實(shí)戰(zhàn)（Mahout和spark MLlib）

·??Mahout與Spark MLLib

·??基于協(xié)同過(guò)濾算法

·??基于ALS協(xié)同過(guò)濾算法

·??基于Spark MLLib的邏輯回歸算法

下一代大數(shù)據(jù)處理引擎

Flink

Flink介紹
Flink的數(shù)據(jù)集
Flink兩種執(zhí)行模型
Flink-流計(jì)算模型-有界數(shù)據(jù)集處理
Flink的DataSet API
Flink的DataStream API
廣播變量、累加器和計(jì)數(shù)器
狀態(tài)管理和恢復(fù)
Window和Time
Flink Table & SQL