
曙海教學(xué)優(yōu)勢(shì)
該課程,秉承21年教學(xué)品質(zhì),以項(xiàng)目實(shí)現(xiàn)為導(dǎo)向,面向企事業(yè)單位項(xiàng)目實(shí)際需求,講師將會(huì)與您分享設(shè)計(jì)的全流程以及工具的綜合使用技巧與經(jīng)驗(yàn)。課程可定制,線下/線上/上門皆可,全國(guó)免費(fèi)報(bào)名熱線:4008699035。
曙海培訓(xùn)的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關(guān)系,合作企業(yè)三十多萬家。曙海的課程得到業(yè)內(nèi)企事業(yè)單位廣泛贊譽(yù)。
?
當(dāng)下是大數(shù)據(jù)時(shí)代,為構(gòu)建大數(shù)據(jù)平臺(tái),需要對(duì)分布式數(shù)據(jù)收集,大數(shù)據(jù)存儲(chǔ),分布式計(jì)算,資源管理等系統(tǒng)有全面而又深入的理解。眾所周知,大數(shù)據(jù)源自于互聯(lián)網(wǎng)行業(yè),目前互聯(lián)網(wǎng)公司已有一套完善的大數(shù)據(jù)平臺(tái)建設(shè)方案,大部分選用開源的Hadoop和Spark兩大生態(tài)系統(tǒng),本課程正是以這兩套系統(tǒng)為主介紹大數(shù)據(jù)平臺(tái)及架構(gòu)的構(gòu)建策略及經(jīng)驗(yàn)。
當(dāng)下是大數(shù)據(jù)時(shí)代,為構(gòu)建大數(shù)據(jù)平臺(tái),需要對(duì)分布式數(shù)據(jù)收集,大數(shù)據(jù)存儲(chǔ),分布式計(jì)算,資源管理等系統(tǒng)有全面而又深入的理解。眾所周知,大數(shù)據(jù)源自于互聯(lián)網(wǎng)行業(yè),目前互聯(lián)網(wǎng)公司已有一套完善的大數(shù)據(jù)平臺(tái)建設(shè)方案,大部分選用開源的Hadoop和Spark兩大生態(tài)系統(tǒng),本課程正是以這兩套系統(tǒng)為主介紹大數(shù)據(jù)平臺(tái)及架構(gòu)的構(gòu)建策略及經(jīng)驗(yàn)。
本課程將為大家全面而又深入的介紹大數(shù)據(jù)平臺(tái)的構(gòu)建流程,涉及分布式數(shù)據(jù)收集,大數(shù)據(jù)存儲(chǔ),資源管理及分布式計(jì)算框架等。本課程重點(diǎn)以Hadoop和Spark兩大生態(tài)系統(tǒng)作為基準(zhǔn)進(jìn)行介紹,涉及Flume,HDFS,Hbase,YARN,MapReduce,Hive,Zookeeper,Spark,Storm,SparkStreaming等主流的大數(shù)據(jù)開源系統(tǒng)架構(gòu)及應(yīng)用經(jīng)驗(yàn)。
各類IT/軟件企業(yè)和研發(fā)機(jī)構(gòu)的軟件架構(gòu)師、軟件設(shè)計(jì)師、程序員。對(duì)于懷有設(shè)計(jì)疑問和問題,需要梳理解答的團(tuán)隊(duì)和個(gè)人,效果最佳。
了解Java語言、Linux系統(tǒng);
?
| 主題 | 內(nèi)容 |
|
大數(shù)據(jù)架構(gòu)概述 |
1.1大數(shù)據(jù)層級(jí)架構(gòu)及各層軟件設(shè)計(jì)要求,包括數(shù)據(jù)收集、存儲(chǔ)、計(jì)算框、應(yīng)用 |
|
數(shù)據(jù)收集系統(tǒng)Flume與Sqoop |
2.1使用flume和sqoop兩個(gè)系統(tǒng)將外部流式數(shù)據(jù)(比如網(wǎng)站日志,用戶行為數(shù)據(jù)等)、關(guān)系型數(shù)據(jù)庫(kù)(比如MySQL、Oracle等)中的數(shù)據(jù)導(dǎo)入Hadoop中進(jìn)行分析和挖掘 |
|
大數(shù)據(jù)存儲(chǔ)系統(tǒng)HDFS與HBase |
3.1 與HDFS1.0進(jìn)行對(duì)比介紹2.0原理、特性與基本架構(gòu)(快照、緩存、異構(gòu)存儲(chǔ))。 |
|
集群資源管理與調(diào)度系統(tǒng) |
4.1 介紹YARN應(yīng)用場(chǎng)景、基本架構(gòu)與資源調(diào)度 |
|
Zookeeper部署及典型應(yīng)用 |
5.1 介紹Zookeeper是什么,基本原理及在應(yīng)用 |
|
大數(shù)據(jù)計(jì)算平臺(tái) |
介紹主流的三大類大數(shù)據(jù)計(jì)算框架,分別是批處理、交互式計(jì)算和流式計(jì)算框架,并選取當(dāng)下主流的開源實(shí)現(xiàn)進(jìn)行介紹。 |
|
數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)庫(kù) |
7.1 Mahout與MLlib兩個(gè)主流的分布式數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)庫(kù)的實(shí)現(xiàn)以及應(yīng)用案例。 |