第一章

主題

分布式系統(tǒng)概述

大綱

·?分布式系統(tǒng)基本概念

·?分布式系統(tǒng)設(shè)計(jì)遇到的問題

·?分布式系統(tǒng)的可靠性問題

·?分布式系統(tǒng)的可擴(kuò)展性問題

實(shí)驗(yàn)：

·?實(shí)驗(yàn)環(huán)境的介紹：實(shí)驗(yàn)環(huán)境中所涉及到的軟件，實(shí)驗(yàn)中所需要的硬件配置，編程所需要的必要的Java知識(shí)等。

·?介紹如何在集群環(huán)境下進(jìn)行Hadoop系統(tǒng)的安裝以及配置，使得每個(gè)參加的學(xué)員都能夠安裝完成Hadoop，并進(jìn)行正確配置與運(yùn)行。

第二章

主題

分布式文件系統(tǒng)

大綱

·?傳統(tǒng)的分布式文件系統(tǒng)，例如NFS，AFS等，

·?新的分布式文件系統(tǒng)的介紹，如Ceph等。

·?介紹分布式文件系統(tǒng)GFS，以及相應(yīng)的在Hadoop中的模塊HDFS。

實(shí)驗(yàn)：

·?學(xué)員實(shí)驗(yàn)所必須的相關(guān)的背景知識(shí)，例如多線程程序的編寫，程序的同步問題，網(wǎng)絡(luò)編程所需要的必要知識(shí)（實(shí)際是不用的，但是為了理解分布式程序的運(yùn)行，必須要了解）。

·?熟悉使用Hadoop進(jìn)行編程的基礎(chǔ)知識(shí)：Hadoop的構(gòu)成，Hadoop中相關(guān)類庫的介紹，在Hadoop環(huán)境下，使用Java操作接口，對(duì)文件系統(tǒng)進(jìn)行讀寫操作。

第三章

主題

MapReduce編程技術(shù)

大綱

·?Google的MapReduce編程介紹

·?開源軟件Nutch的體系結(jié)構(gòu)與構(gòu)成

·?Hadoop的體系結(jié)構(gòu)，構(gòu)成以及MapReduce設(shè)計(jì)的編程要素

實(shí)驗(yàn)：

·?Hadoop的MapReduce編程環(huán)境

????使用Hadoop進(jìn)行MapReduce編程，并進(jìn)行第一個(gè)實(shí)驗(yàn)，即做一次倒排表的實(shí)驗(yàn)。

第四章

主題

MapReduce算法

大綱

·?使用MapReduce進(jìn)行圖算法PageRank

·?使用MapReduce進(jìn)行聚類算法Canopy?Clustering

實(shí)驗(yàn)：

·?圖算法PageRank的實(shí)現(xiàn)

第五章

主題

云計(jì)算技術(shù)分析

大綱

·?Amazon的云計(jì)算系統(tǒng)的介紹Elastic?Computing?Cloud

·?微軟所使用的大規(guī)模數(shù)據(jù)處理技術(shù)Dryad等

·?Google云計(jì)算平臺(tái)App?Engine深入剖析

§?App?Engine概述及其典型應(yīng)用分析

§?App?Engine架構(gòu)和實(shí)現(xiàn)解析

§?App?Engine應(yīng)用開發(fā)接口和編程實(shí)踐

§?App?Engine與其他云計(jì)算平臺(tái)的橫向比較及展望

實(shí)驗(yàn)：

·?聚類算法Canopy?Clustering的實(shí)現(xiàn)

第六章

主題

在Google中所使用的其它技術(shù)

大綱

·?Google的集群的構(gòu)建

·?Google的數(shù)據(jù)庫系統(tǒng)BigTable

·?Google的分布式鎖技術(shù)Chubby

實(shí)驗(yàn)：

·?對(duì)實(shí)驗(yàn)進(jìn)行收尾工作