?
第一節(jié)課講SLAM相關(guān)的計(jì)算機(jī)視覺基礎(chǔ)。
1?多視圖幾何基礎(chǔ)
1.1?三維空間剛體運(yùn)動
1.2?射影幾何
1.3?單視圖幾何
1.3.1?攝像機(jī)模型
1.3.1.1?針孔攝像機(jī)模型
1.3.1.2?魚眼攝像機(jī)模型
1.3.2?攝像機(jī)矩陣P
1.4?雙視圖幾何
1.4.1?對極幾何
1.4.2?攝像機(jī)軌跡的計(jì)算
1.5?三維重建
1.5.1?實(shí)時與離線
1.5.2?SfM Pipeline
1.5.3?應(yīng)用
1.6?常用第三方開發(fā)庫介紹
1.6.1?OpenCV
1.6.2?PCL
1.6.3?VTK
1.6.4?Ceres Solver
1.7?相關(guān)應(yīng)用
1.7.1?全景視頻
1.7.2?虛擬現(xiàn)實(shí)
1.7.3?增強(qiáng)現(xiàn)實(shí)
1.7.4?機(jī)器人導(dǎo)航
?
第二節(jié)課講SLAM相關(guān)
2?SLAM基礎(chǔ)
2.1?介紹
2.2?不同的傳感器
2.2.1?激光傳感器、雷達(dá)傳感器
2.2.2?彩色攝像頭
2.2.2.1?單目攝像頭
2.2.2.2?雙目攝像頭
2.2.2.3?魚眼鏡頭
2.2.3?深度攝像頭
2.2.3.1?雙目RGB攝像頭
2.2.3.2?單/雙目RGB-D攝像頭
2.2.3.3?基于飛行時間原理的深度攝像頭
2.3?不同的輔助設(shè)備
2.3.1?IMU
2.3.2?GPS
2.4?視覺SLAM
2.4.1?基于濾波器的V-SLAM
2.4.2?基于關(guān)鍵幀的V-SLAM
2.4.3?基于直接跟蹤的V-SLAM
2.4.4?視覺SLAM算法之間的比較
2.5?激光SLAM
2.5.1?GMapping
2.5.2?Hector SLAM
2.5.3?Cartographer
2.5.4?視覺SLAM和激光SLAM之間的差異
2.6?實(shí)踐
2.6.1?ROS機(jī)器人系統(tǒng)入門
2.6.1.1?ROS是什么
2.6.1.2?ROS的特點(diǎn)
2.6.1.3?如何快速上手ROS?
2.6.2?編譯SLAM系統(tǒng)
2.6.3?運(yùn)行實(shí)例
?
第三節(jié)課講經(jīng)典SLAM框架1
3?經(jīng)典視覺SLAM框架1
3.1?非線性優(yōu)化
3.1.1?狀態(tài)估計(jì)問題
3.1.1.1?最大后驗(yàn)與最大似然
3.1.1.2?最小二乘的引出
3.1.2?非線性最小二乘
3.1.2.1?一階和二階梯度法
3.1.2.2?高斯-牛頓法
3.1.2.3?列文伯格——馬夸爾特方法
3.1.2.4?小結(jié)
3.1.3?實(shí)踐Ceres
3.1.4?實(shí)踐g2o
3.1.5?小結(jié)
3.2?視覺里程計(jì)1
3.2.1?特征點(diǎn)法
3.2.1.1?特征點(diǎn)
3.2.1.2?ORB特征
3.2.1.3?特征匹配
3.2.2?實(shí)踐特征提取和匹配
3.2.3?2D-2D：對極幾何
3.2.3.1?對極約束
3.2.3.2?本質(zhì)矩陣
3.2.3.3?單應(yīng)矩陣
3.2.4?實(shí)踐：對極約束求解相機(jī)運(yùn)動
3.2.5?三角測量
3.2.6?實(shí)踐：三角測量
3.2.7?3D-2D：PnP
3.2.7.1?直接線性變換
3.2.7.2?P3P
3.2.7.3?Bundle Adjustment
3.2.8?實(shí)踐：求解PnP
3.2.9?3D-3D：ICP
3.2.9.1?SVD方法
3.2.9.2?非線性優(yōu)化方法
3.2.10?小結(jié)
?
第四節(jié)課講經(jīng)典SLAM框架2
4?經(jīng)典視覺SLAM框架2
4.1?視覺里程計(jì)2
4.1.1?直接法的引出
4.1.2?光流（Optical Flow）
4.1.3?實(shí)踐：LK光流
4.1.3.1?使用TUM公開數(shù)據(jù)集
4.1.3.2?使用LK光流
4.1.4?直接法（Direct Method）
4.1.4.1?直接法的推導(dǎo)
4.1.4.2?直接法的討論
4.1.5?實(shí)踐：RGB-D的直接法
4.1.5.1?稀疏直接法
4.1.5.2?定義直接法的邊
4.1.5.3?使用直接法估計(jì)相機(jī)運(yùn)動
4.1.5.4?半稠密直接法
4.1.5.5?直接法的討論
4.1.5.6?直接法優(yōu)缺點(diǎn)總結(jié)
4.2?SLAM前端
4.2.1?VO框架
4.2.1.1?程序框架
4.2.1.2?基本數(shù)據(jù)結(jié)構(gòu)
4.2.1.3?Camera
4.2.1.4?Frame
4.2.1.5?MapPoint
4.2.1.6?Map
4.2.1.7?Config
4.2.2?基本的VO：特征提取和匹配
4.2.2.1?兩兩幀的視覺里程計(jì)
4.2.2.2?討論
4.2.3?優(yōu)化PnP的結(jié)果
4.2.4?局部地圖
4.2.5?小結(jié)
第一節(jié)課講經(jīng)典SLAM框架3
5?經(jīng)典SLAM框架3
5.1?后端1
5.1.1?概述
5.1.1.1?狀態(tài)估計(jì)的概率解釋
5.1.1.2?線性系統(tǒng)和KF
5.1.1.3?非線性系統(tǒng)和EKF
5.1.1.4?EKF的討論
5.1.2?BA與圖優(yōu)化
5.1.2.1?投影模型和BA代價函數(shù)
5.1.2.2?BA的求解
5.1.2.3?稀疏性和邊緣化
5.1.2.4?魯棒核函數(shù)
5.1.2.5?小結(jié)
5.1.3?實(shí)踐：g2o
5.1.3.1?BA數(shù)據(jù)集
5.1.3.2?g2o求解BA
5.1.3.3?求解
5.1.4?實(shí)踐：Ceres
5.1.4.1?Ceres求解BA
5.1.4.2?求解
5.1.5?小結(jié)
5.2?后端2
5.2.1?位姿圖（Pose Graph）
5.2.1.1?Pose Graph的意義
5.2.1.2?Pose Graph的優(yōu)化
5.2.2?實(shí)踐：位姿圖優(yōu)化
5.2.2.1?g2o原生位姿圖
5.2.2.2?李代數(shù)上的位姿圖優(yōu)化
5.2.2.3?小結(jié)
?
第二節(jié)課講經(jīng)典SLAM框架4
6?經(jīng)典SLAM框架4
6.1?回環(huán)檢測
6.1.1?回環(huán)檢測概述
6.1.1.1?回環(huán)檢測的意義
6.1.1.2?方法
6.1.1.3?準(zhǔn)確率和召回率
6.1.2?詞袋模型
6.1.3?字典
6.1.3.1?字典的結(jié)構(gòu)
6.1.3.2?實(shí)踐：創(chuàng)建字典
6.1.4?相似度計(jì)算
6.1.4.1?理論部分
6.1.4.2?相似度的計(jì)算
6.1.5?實(shí)驗(yàn)分析與評述
6.1.5.1?增加字典規(guī)模
6.1.5.2?相似性評分的處理
6.1.5.3?關(guān)鍵幀的處理
6.1.5.4?檢測之后的驗(yàn)證
6.1.5.5?與機(jī)器學(xué)習(xí)的關(guān)系
6.2?建圖
6.2.1?概述
6.2.2?單目稠密重建
6.2.2.1?立體視覺
6.2.2.2?極限搜索與快匹配
6.2.2.3?高斯分布的深度濾波器
6.2.3?實(shí)踐：單目稠密重建
6.2.4?實(shí)驗(yàn)分析與討論
6.2.4.1?像素梯度的問題
6.2.4.2?逆深度
6.2.4.3?圖像間的變換
6.2.4.4?并行化：效率的問題
6.2.4.5?其他的改進(jìn)
6.2.5?RGB-D稠密見圖
6.2.5.1?實(shí)踐：點(diǎn)云地圖
6.2.5.2?八叉樹地圖
6.2.5.3?實(shí)踐：八叉樹地圖
6.2.6?小結(jié)
6.3?SLAM的未來
6.3.1?視覺+慣性導(dǎo)航SLAM
6.3.2?語義SLAM
?
第三節(jié)課講深度學(xué)習(xí)
7?深度學(xué)習(xí)
7.1?機(jī)器學(xué)習(xí)原理
7.1.1?機(jī)器學(xué)習(xí)術(shù)語
7.1.2?深入了解機(jī)器學(xué)習(xí)
7.2?深度學(xué)習(xí)介紹
7.2.1?神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
7.3?主流深度學(xué)習(xí)框架
7.3.1?Tensorflow
7.3.2?Theano
7.3.3?CNTK
7.4?實(shí)踐：Tensorflow的安裝
7.5?實(shí)踐：簡單的識別字符的應(yīng)用
?
第四節(jié)課講深度學(xué)習(xí)和SLAM的結(jié)合
8?深度學(xué)習(xí)和SLAM的結(jié)合
8.1?深度學(xué)習(xí)與幀間估計(jì)
8.2?深度學(xué)習(xí)與閉環(huán)檢測
8.3?深度學(xué)習(xí)與語義SLAM
8.4?深度學(xué)習(xí)方法與傳統(tǒng)方法對比
8.5?未來展望
8.5.1?高維傳感器數(shù)據(jù)處理與融合
8.5.2?機(jī)器人知識庫
8.5.3?云機(jī)器人
8.5.4?SLAM促進(jìn)深度學(xué)習(xí)
