Spark概述

• 大數(shù)據(jù)起源
• 離線分析、在線分析與流計算
• 開源大數(shù)據(jù)包Spark概述
• Spark的擴展包SQL、MLLib和GraphX
• 開源社區(qū)的組織結構與開源條款
• 案例解析：一個跨國IT企業(yè)的開源包使用法務流程與風險規(guī)避

Scala編程原理

• Scala：函數(shù)式編程
• 安裝Scala集成開發(fā)環(huán)境
• 使用Scala分析北京汽車搖號結果
• 將MapReduce程序遷移到Spark上
• 實戰(zhàn)練習：在本機上使用scala進行簡單的spark編程

Spark Streaming流計算

• Spark Streaming概述
• Kafka概述
• 基于Kafka數(shù)據(jù)源的Spark Stream練習
• 在本機上使用scala進行簡單地Spark Streaming編程，數(shù)據(jù)源使用Kafka

Spark的分布式存儲

• Standalone Spark集群配置
• HDFS集群配置
• 編寫Scala程序訪問HDFS
• 實戰(zhàn)練習：在本機上使用scala進行簡單的HDFS數(shù)據(jù)訪問

Spark與NOSQL

• NOSQL存儲特征與數(shù)據(jù)格式
• 使用Scala進行HBase數(shù)據(jù)分析示例
• 實戰(zhàn)練習：在本機上使用scala進行HBase數(shù)據(jù)訪問

Spark與Yarn

• Spark on Yarn集群配置
• Spark on Yarn與standalone相比的優(yōu)勢
• 案例分析：某巨型互聯(lián)網公司基于Spark on Yarn的超大規(guī)模集群部署案例分析

Spark與MapReduce

• Spark計算模型和MapReduce的對比
• Spark與MapReduce的相同點
• Spark與MapReduce的差異

Spark性能

• Spark資源調度方法
• CPU、內存、網絡與存儲配置對性能的影響及常用調優(yōu)參數(shù)
• 案例解析：一個跨國IT企業(yè)的spark集群構建方法與參數(shù)選擇

Spark與MLlib

• 機器學習的常用算法
• 使用Spark MLlib實現(xiàn)機器學習算法

Spark與ZooKeeper

• 通過ZooKeeper實現(xiàn)Spark高可用架構

Spark的案例

• 一個基于Spark與Hadoop的實時分析系統(tǒng)架構設計與實現(xiàn)—某銀行的大數(shù)據(jù)體系介紹以及spark在其中扮演的角色
• 方案設計
• 分析算法確定
• 分析算法與數(shù)據(jù)流設計
• 技術實現(xiàn)演示?