主題

內(nèi)容見要

海量數(shù)據(jù)處理系統(tǒng)

的架構(gòu)設(shè)計

?

這個部分主要講解海量數(shù)據(jù)處理的架構(gòu)設(shè)計，針對海量數(shù)據(jù)的問題設(shè)計海量數(shù)據(jù)的架構(gòu)解決方案。

·?海量數(shù)據(jù)處理的系統(tǒng)場景

·?大數(shù)據(jù)時代的數(shù)據(jù)架構(gòu)解決方案

·?海量數(shù)據(jù)處理的架構(gòu)匯總

·?8種海量數(shù)據(jù)處理的架構(gòu)設(shè)計比較

·?HBase在復(fù)雜數(shù)據(jù)體系中的位置

·?HBase如何與其他海量數(shù)據(jù)處理系統(tǒng)協(xié)同

·?分布式系統(tǒng)架構(gòu)的海量數(shù)據(jù)處理設(shè)計

·?海量數(shù)據(jù)處理設(shè)計

典型案例分析：結(jié)合一個500強實時數(shù)據(jù)系統(tǒng)的實例案例進(jìn)行分析，詳細(xì)分析海量數(shù)據(jù)處理的架構(gòu)設(shè)計

NoSQL的實踐應(yīng)用

HBase與其他NoSQL的共存及其主要應(yīng)用場景分析

·?NoSQL綜述解決的實際問題

·?關(guān)系數(shù)據(jù)庫暴露的問題

·?High performance并發(fā)要求

·?Huge Storage的存取

·?High Scalability的服務(wù)器分布要求

·?High Availability的服務(wù)器健壯要求

·?關(guān)系型數(shù)據(jù)庫失效的場景

·?NoSQL與關(guān)系型數(shù)據(jù)庫設(shè)計理念比較

·?HBase與關(guān)系型數(shù)據(jù)庫的協(xié)作

·?HBase的優(yōu)劣及其與關(guān)系型數(shù)據(jù)庫的差異與區(qū)別

·?NoSQL設(shè)計模型分析

·?K-V模型的Column設(shè)計

·?Document模型的B Tree設(shè)計

·?Object模型的基于Object數(shù)據(jù)訪問設(shè)計

·?NoSQL實例分析

·?Apache Hbase架構(gòu)解析

·?Facebook Cassandra架構(gòu)解析

·?Google BigTable架構(gòu)解析

·?NoSQL中Memcache與Redis的應(yīng)用場景

·?NoSQL中MongoDB的應(yīng)用場景

·?NoSQL中Hadoop, Spark的應(yīng)用場景

·?主流NoSQL的產(chǎn)品差異比較

·?綜合應(yīng)用NoSQL的解決方案處理復(fù)雜環(huán)境數(shù)據(jù)高負(fù)載，高并發(fā)， 高性能的數(shù)據(jù)體系

·?HBase的應(yīng)用場景實踐解析及其解決的業(yè)務(wù)問題

o?海量數(shù)據(jù)寫入?

o?消息類（類似Facebook的message）

o?Schema-free?

o?LOG-Append類的業(yè)務(wù)

o?大表的復(fù)雜/多維度索引

o?分析類

o?大批量讀取

·?HBase的數(shù)據(jù)場景實踐解析

o?HBase表數(shù)據(jù)量的范圍

o?HBase的數(shù)據(jù)操作類別

o?HBase的讀寫場景

o?HBase的排序場景

o?HBase不適宜的技術(shù)場景

典型案例分析：結(jié)合一個500強實時數(shù)據(jù)采集系統(tǒng)的實例案例進(jìn)行分析，詳細(xì)分析NoSQL的綜合開源架構(gòu)應(yīng)用多種NoSQL的產(chǎn)品集合應(yīng)用

典型案例分析：結(jié)合一個大型互聯(lián)網(wǎng)系統(tǒng)的實例案例進(jìn)行分析，詳細(xì)分析HBase的主要應(yīng)用場景及其解決的業(yè)務(wù)問題

Hadoop作為HBase的重要基石-HBase的存儲架構(gòu)

?

·?文件存儲-HDFS

·?HDFS-工作原理

·?分布式Hadoop HDFS的集群搭建與部署

·?HDFS核心架構(gòu)分析

·?Hadoop HDFS讀/寫文件快速解析

·?HBase與分布式Hadoop HDFS的關(guān)系

·?如何基于Hadoop HDFS構(gòu)建HBase

·?基于Hadoop HDFS的HBase存儲模型

·?HBase的三層索引結(jié)構(gòu)

·?HBase的Row Base設(shè)計思想

·?HBase存儲的邏輯視圖與物理視圖

·?HBase表的Row key鍵、Column Family列族、Cell qualifier列族修飾符（列）、Timestamp時間戳、Region區(qū)域、HBase鎖 解析

·?HBase物理存儲模型的核心架構(gòu)

·?HRegin與HTable的關(guān)系及其核心架構(gòu)分析

·?HFile格式分析

·?HFile的6個組成部分

·?HLog?分析

·?三層B+樹的擴展LSMTree

·?Compact與Splite對性能的影響

·?如何優(yōu)化HBase的存儲

課堂演練：學(xué)員搭建一個基本的HBase通過HBase的文件體系， 了解HBase的存儲過程，并針對不同業(yè)務(wù)場景嘗試優(yōu)化HBase存儲

HBase集群架構(gòu)搭建及實踐案例沙盤演練

·?HBase版本介紹與選擇

·?HBase部署實踐

·?系統(tǒng)環(huán)境配置

·?HBase進(jìn)程分布規(guī)劃與啟動

·?HBase Region Server

·?基于HBase的命令總結(jié)

·?HBase高階使用操作

·?HBase集群架構(gòu)搭建方法

·?HBase集群架構(gòu)性能管理

·?去中心化的HBase單點問題改進(jìn)

·?HBase的調(diào)優(yōu)和節(jié)點擴展最佳實踐

·?主要調(diào)優(yōu)工具和性能監(jiān)控工具

·?HBase集群對于硬件的要求和選型

·?HBase集群中對硬件、操作系統(tǒng)的調(diào)優(yōu)方法

·?實際案例分析

·?ZooKeeper與HBase

·?HBase Master與Region Server

·?ZooKeeper在HBase集群中的應(yīng)用方式

·?基于HBase的集群解決方案

·?典型案例分析：結(jié)合一個大型商業(yè)系統(tǒng)的實例案例分析及演練HBase集群架構(gòu)搭建過程

·?課堂演練：學(xué)員搭建一個HBase與ZooKeeper的集群更加深入的了解Region Server, Mater, ZooKeeper之間的關(guān)系， 及HBase的高階操作與優(yōu)化

HBase架構(gòu)及實踐案例沙盤演練

·?為什么實用Hadoop/HBase

·?Hadoop的架構(gòu)體系與HBase的應(yīng)用關(guān)系

·?HBase的核心設(shè)計機制

·?HBase的使用場景？什么情況下使用HBase，為什么使用HBase，HBase使用帶來的實踐價值

·?開發(fā)環(huán)境準(zhǔn)備

·?Eclipse與HBase的集成

·?HBase進(jìn)行數(shù)據(jù)讀、寫操作

·?基于的API編程模型及其開發(fā)演練

·?關(guān)系型數(shù)據(jù)庫與HBase

·?HBase的Client端

·?HBase架構(gòu)分析

·?基于HBase項目架構(gòu)設(shè)計?

·?入庫和查詢的設(shè)計與實現(xiàn)

·??{實時性，大并發(fā)下HBase的數(shù)據(jù)處理解決方案

·?案例演練HBase的主體特性

·?Features:Scalability實現(xiàn)

·?HBaseFeatures:Column-Oriented實現(xiàn)

·?High Performance Random R/W實現(xiàn)

·?HBase Features: Scan Search實現(xiàn)

·?HBase Features: High?\Availability實現(xiàn)

典型案例分析：結(jié)合一個500強實時數(shù)據(jù)采集系統(tǒng)的實例案例進(jìn)行分析，詳細(xì)分析HBase的開源架構(gòu)應(yīng)用及其使用場景與整體系統(tǒng)架構(gòu)的結(jié)合

典型案例分析：通過HBase API完成一個復(fù)雜數(shù)據(jù)系統(tǒng)的操作過程

課堂演練：學(xué)員通過HBase API完成一個消息系統(tǒng)的HBase代碼

?

·??

HBase?的表結(jié)構(gòu)設(shè)計

·?依據(jù)于業(yè)務(wù)的HBase表結(jié)構(gòu)設(shè)計的基本思想

·?基于星核結(jié)構(gòu)的思想進(jìn)行的HBase表結(jié)構(gòu)設(shè)計

·?數(shù)據(jù)雙寫的設(shè)計

·?索引表的設(shè)計

·?Rowkey的設(shè)計建議

·?Rowkey非單一ID

·?Rowkey為組合性

·?如何通過Rowkey覆蓋查詢場景

·?創(chuàng)建分詞索引表

·?交互性應(yīng)用消息的表結(jié)構(gòu)設(shè)計

·?無結(jié)構(gòu)化數(shù)據(jù)的表結(jié)構(gòu)設(shè)計

·?Column Family的設(shè)計

·?緩存表的設(shè)計

典型案例分析：結(jié)合一個大型互聯(lián)網(wǎng)電商系統(tǒng)的實例案例進(jìn)行分析，詳細(xì)分析HBase的表結(jié)構(gòu)設(shè)計

課堂演練：學(xué)員通過HBase API完成一個類似于滴滴打車的高并發(fā)系統(tǒng)的HBase表結(jié)構(gòu)設(shè)計

HBase DB性能優(yōu)化

·?基于HBase的ZooKeeper優(yōu)化

·?HBase的Region Server優(yōu)化

·?HBase的存儲文件優(yōu)化

·?HBase的緩存優(yōu)化

·?HTablePool的設(shè)計

·?HBase寫速度優(yōu)化的7個實踐

·?HBase讀速度優(yōu)化的6個實踐

·?HBase客戶端的讀寫優(yōu)化

·?如何調(diào)整業(yè)務(wù)訪問HBase的方式，從而整體優(yōu)化HBase的應(yīng)用性能

·?HBase的表結(jié)構(gòu)設(shè)計優(yōu)化

典型案例分析：結(jié)合一個500強實時數(shù)據(jù)采集系統(tǒng)的應(yīng)用數(shù)據(jù)， 對HBase進(jìn)行性能測試， 演示不同優(yōu)化對于HBase性能的影響

HBase綜合案例演練

?

一個大型的實例大數(shù)據(jù)項目：

具備掌握HBase大數(shù)據(jù)應(yīng)用系統(tǒng)的完整 架構(gòu)設(shè)計，具備項目的分析、開發(fā)、部署的全過程的能力，貫穿前面課程的主要內(nèi)容，使大家熟悉一個完整大數(shù)據(jù)項目的分析、架構(gòu)設(shè)計、開發(fā)、優(yōu)化、部署的全過程。