曙海教學(xué)優(yōu)勢
該課程，秉承21年教學(xué)品質(zhì)，以項目實現(xiàn)為導(dǎo)向,面向企事業(yè)單位項目實際需求,講師將會與您分享設(shè)計的全流程以及工具的綜合使用技巧與經(jīng)驗。課程可定制,線下/線上/上門皆可,全國免費報名熱線:4008699035。
曙海培訓(xùn)的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關(guān)系,合作企業(yè)三十多萬家。曙海的課程得到業(yè)內(nèi)企事業(yè)單位廣泛贊譽。
?課程目標(biāo)：
1）知道Spark能做什么，不能做什么。
2）hadoop和Spark的適用場景。
3）能過熟知Spark的原理、安裝Spark集群。
4）能夠獨立使用Spark工具來分析海量數(shù)據(jù)。
5）會使用shark來分析數(shù)據(jù)。
6）會使用Spark Streaming來處理數(shù)據(jù)。
7）一個需求過來知道在Spark上面怎么實現(xiàn)。
培訓(xùn)內(nèi)容：
|
·?Scala語言介紹 ·?Scala語言安裝 ·?Scala快速入門介紹 ·?什么Spark ·?Spark的簡介 ·?Spark的編譯 ·?Spark的安裝 Spark安裝成功測試 |
|
·?Spark原理 ·?Spark的RDD ·?什么是RDD ·?RDD的種類? o?Tranformation o?Action ·?Spark的存儲級別 ·?Cache介紹 ·?Spark的容錯原理 ·?Lineage容錯 ·?Checkpoint容錯 ·?RDD的創(chuàng)建 ·?案例? 統(tǒng)計單詞的個數(shù) |
|
·?Spark調(diào)度組件 ·?RDD?graph ·?作業(yè)與任務(wù)調(diào)度 ·?DAG?Scheduler ·?Task?Scheduler ·?Task細(xì)節(jié) ·?Job的調(diào)度流程 ·?Broadcast?variables介紹 ·?Spark的優(yōu)化 ·?Spark的生態(tài)系統(tǒng)? o?Shark o?Streaming ·?Spark與hadoop的比較 Spark的使用場景介紹 |
|
·?Spark實戰(zhàn)一：求最大值 ·?Spark實戰(zhàn)二：自定義RDD(define?a?new?RDD) ·?Spark實戰(zhàn)三：RDD創(chuàng)建的種類(Scala、HDFS、localdisk?and?inputformat) Spark實戰(zhàn)四：基于Spark的日志分析 |
?
?
