?

主要授課內(nèi)容

???

大數(shù)據(jù)分析挖掘算法

內(nèi)容一：大數(shù)據(jù)分析挖掘算法

1．業(yè)界常見的大數(shù)據(jù)分析應(yīng)用場景以及對應(yīng)的分析算法模型應(yīng)用，及其案例

2．常用的統(tǒng)計分析模型的介紹，包括方差分析、線性擬合、回歸、邏輯回歸、因子分析、主成分分析、時間序列分析的基礎(chǔ)知識

3．常用的數(shù)據(jù)挖掘模型介紹，重點介紹六類機器學(xué)習(xí)與挖掘模型算法

4．業(yè)界主流的數(shù)據(jù)倉庫工具和數(shù)據(jù)分析挖掘相關(guān)工具軟件的應(yīng)用概述

內(nèi)容二：機器學(xué)習(xí)

1．機器學(xué)習(xí)概念、發(fā)展歷程

2．機器學(xué)習(xí)的應(yīng)用場景

3．機器學(xué)習(xí)與統(tǒng)計分析

4．無監(jiān)督式學(xué)習(xí)概述

5．有監(jiān)督式學(xué)習(xí)概述

6．半監(jiān)督式學(xué)習(xí)概述

7．強化學(xué)習(xí)概述

8．人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)概述

9．深度學(xué)習(xí)概述

10．機器學(xué)習(xí)的應(yīng)用場景和應(yīng)用案例

Spark大數(shù)據(jù)實時與高性能處理平臺剖析

內(nèi)容：Spark大數(shù)據(jù)實時與高性能處理平臺剖析

1．Spark實時大數(shù)據(jù)處理平臺架構(gòu)

2．Spark編程模型以及Spark編程實例解析

3．Spark RDD內(nèi)存彈性分布式數(shù)據(jù)集的工作原理與機制

4．Spark Core的核心組件剖析

5．Spark系統(tǒng)架構(gòu)和運行過程剖析

6．Spark on Yarn運行原理和實例

7．Spark RDD transform、滑動窗口、foreachRDD性能優(yōu)化、持久化、checkpoint、容錯與事務(wù)、與Spark SQL整合使用

8．基于Spark的實時數(shù)據(jù)倉庫與實時分析挖掘處理的應(yīng)用實踐，以及應(yīng)用案例

?

Spark SQL應(yīng)用實戰(zhàn)

內(nèi)容：Spark SQL應(yīng)用實戰(zhàn)

1．Spark SQL實時數(shù)據(jù)倉庫的實現(xiàn)原理與操作

2．Spark SQL核心代碼剖析

3．Spark SQL客戶端開發(fā)包API

4．Spark SQL實時統(tǒng)計應(yīng)用

5．Spark SQL應(yīng)用程序開發(fā)實踐

Spark Streaming應(yīng)用實戰(zhàn)

內(nèi)容：Spark Streaming應(yīng)用實戰(zhàn)

1．Streaming與Storm在實時流計算處理應(yīng)用場景下的案例與比較

2．Spark Streaming與Spark交互的實現(xiàn)機制

3．Spark Streaming的核心代碼剖析

4．Spark Streaming客戶端編程實踐

5．Spark Streaming實時流數(shù)據(jù)分析處理應(yīng)用開發(fā)實踐

數(shù)據(jù)預(yù)處理與特征選擇

內(nèi)容一：數(shù)據(jù)預(yù)處理

1．?dāng)?shù)據(jù)抽取、轉(zhuǎn)換和加載

2．?dāng)?shù)據(jù)清洗

3．特征處理

內(nèi)容二：特征選擇與降維

1．特征選擇概述

2．Filter

3．Wrapper

4．Embedded

5．特征擴增

6．降維、PCA、LDA、LLE、SVD

機器學(xué)習(xí)算法

內(nèi)容一：有監(jiān)督學(xué)習(xí)

1．KNN算法

2．決策樹算法

3．SVM算法

4．樸素貝葉斯算法

5．邏輯回歸算法

6．線性回歸算法

7．集成算法

內(nèi)容二：無監(jiān)督學(xué)習(xí)

1．聚類算法

2．關(guān)聯(lián)算法

內(nèi)容三：模型評估與優(yōu)化

1．模型優(yōu)化與評估概念

2．最優(yōu)化模型

3．模型評估與選擇

Spark MLlib數(shù)據(jù)挖掘

內(nèi)容：Spark? MLlib數(shù)據(jù)挖掘

1．?? Spark MLlib概述

2．?? Spark MLlib評估矩陣

3．?? Spark MLlib關(guān)聯(lián)規(guī)則與推薦算法

4．?? Spark MLlib聚類與降維

5．???Spark MLlib分類與回歸

6．?? Spark MLlib特征提取和轉(zhuǎn)換

7．?? Spark MLlib基礎(chǔ)統(tǒng)計分析

大數(shù)據(jù)挖掘案例

內(nèi)容：綜合實驗

?