曙海教學優勢
本課程面向企事業項目實際需要,秉承二十一年積累的教學品質，Spark大數據處理案例分析與實踐培訓課程以項目實現為導向,老師將會與您分享設計的全流程以及工具的綜合使用技巧、經驗。線上/線下/上門皆可,Spark大數據處理案例分析與實踐培訓課程專家,課程可定制,熱線:4008699035。
大批企業和曙海
建立了良好的合作關系,合作企業30萬+。曙海的課程培養了大批受企業歡迎的工程師。曙海的課程在業內有著響亮的知名度。
?
Spark已經被不少互聯網公司采用，大部分數據挖掘算法和迭代式算法在逐步MapReduce平臺遷移到Spark平臺中，包括阿里巴巴（廣告系統），騰訊（廣點通精準推薦），百度，優酷土豆，360，支付寶等互聯網公司已經在線上產品中使用spark，且取得了令人滿意的效果，另外，部分省份的運營商也正在嘗試使用spark解決數據挖掘和分析問題，部分銀行，如工商銀行，也正在嘗試spark平臺。
本課程將為大家全面而又深入的介紹Spark平臺的構建流程，涉及Spark系統基礎知識，概念及架構， Spark實戰技巧，Spark經典案例等。
通過本課程實踐，幫助學員對Spark生態系統有一個清晰明了的認識；理解Spark系統適用的場景；掌握Spark等初中級應用開發技能；搭建穩定可靠的Spark集群，滿足生產環境的標準；了解和清楚大數據應用的幾個行業中的經典案例，包括阿里巴巴，騰訊，百度等互聯網行業，中國移動和聯通等運營商。
各類 IT/軟件企業和研發機構的軟件架構師、軟件設計師、程序員。對于懷有設計疑問和問題，需要梳理解答的團隊和個人，效果最佳。
1) 了解Java語言（Scala語言會作為課程內容進行介紹）；?
2) 了解Linux系統；
?
| 主題 | 內容 |
|
Spark大數據架構概述及案例簡介 |
1. 1介紹Spark大數據層級架構及各層軟件設計要求，包括數據收集，大數據存儲，大數據計算框架，大數據應用等 |
|
Spark產生動機與基本概念 |
2.1 Spark產生背景，與MapReduce對比，其優缺點是什么 |
|
Spark安裝部署 |
3.1 Spark運行模式簡介、standlone模式、Spark on yarn模式 |
|
Spark程序設計實例 |
4.1 Scala語言基礎，常用語法以及庫函數 |
|
Spark內部原理 |
5.1 Spark程序運行流程概述 |
|
Spark與外部系統整合 |
6.1 Spark與Kafka和flume結合 |
|
Spark調優方法 |
Spark調優思想、方法 |
|
Spark案例分析 |
基于Spark的商品推薦系統，包括：項目背景、項目架構、項目實施 |
|
Spark Streaming應用及案例分析 |
8.1 Spark Streaming產生動機 |
|
Spark SQL |
9.1 Spark SQL定位 |
|
MLlib |
10. 介紹Spark的數據挖掘庫MLlib，重點介紹其內部的幾個分類算法，聚類算法和推薦算法，包括邏輯回歸，K-Means，協同過濾等 |
|
GraphX |
11. 介紹Spark內部的圖計算框架GraphX，重點介紹它的基本原理及使用方法 |
