Camera在自動(dòng)駕駛中的感知和定位功能中發(fā)揮著重要的作用，本課程從自動(dòng)駕駛的產(chǎn)品功能需求和計(jì)算機(jī)視覺技術(shù)出發(fā)，系統(tǒng)地、簡(jiǎn)明扼要地說明如何利用camera傳感器通過計(jì)算機(jī)視覺、深度學(xué)習(xí)等技術(shù)實(shí)現(xiàn)自動(dòng)駕駛的重要功能。
?
一、簡(jiǎn)介
1、自動(dòng)駕駛的應(yīng)用：不同應(yīng)用場(chǎng)景（L2+或L3乘用車、robotaxi、robobus、干線物流、快遞、礦區(qū)碼頭等封閉場(chǎng)景）對(duì)自動(dòng)駕駛功能的需求
2、自動(dòng)駕駛的系統(tǒng)：自動(dòng)駕駛的軟、硬件系統(tǒng)，背后的云服務(wù)、數(shù)據(jù)服務(wù)等
3、自動(dòng)駕駛的技術(shù)棧：感知、定位、地圖、PnC等，以及每個(gè)技術(shù)方向依賴的基礎(chǔ)技術(shù)如：成像投影原理、特征提取、圖像匹配、目標(biāo)檢測(cè)、深度估計(jì)、全景分割、深度學(xué)習(xí)、數(shù)據(jù)閉環(huán)等。
4、QA&交流&后續(xù)安排（30min）
二、關(guān)鍵技術(shù)講解
1、視覺感知
1.1目標(biāo)檢測(cè)：最重要的任務(wù)之一，模型結(jié)構(gòu)、訓(xùn)練策略、監(jiān)督信號(hào)等；QA（20min）
1.2目標(biāo)跟蹤：預(yù)測(cè)、匹配、相似度計(jì)算；QA（10min）
1.3圖像分割：以車道線檢測(cè)為例講解模型設(shè)計(jì)；QA（10min）
1.4 其他任務(wù)：紅綠燈檢測(cè)、標(biāo)志標(biāo)牌識(shí)別、深度估計(jì)等
2、視覺定位
2.1相機(jī)標(biāo)定：成像原理說明真實(shí)世界與圖像平面的關(guān)系
2.2特征提?。焊鞣N算子（SIFT、ORB）從圖像中提取關(guān)鍵角點(diǎn)信息進(jìn)行匹配
2.3參數(shù)估計(jì)：從匹配的角點(diǎn)計(jì)算投影關(guān)系，如圖優(yōu)化等
2.4 QA（10min）
三、工程化落地與工具鏈建設(shè)
1 Cyber/Ros簡(jiǎn)介：機(jī)器人基礎(chǔ)運(yùn)行架構(gòu)
2深度學(xué)習(xí)模型部署：剪枝、量化、tensorrt、cuda等模型實(shí)時(shí)運(yùn)行技術(shù)
3?深度學(xué)習(xí)模型研發(fā)閉環(huán)
3.1 數(shù)據(jù)閉環(huán)鏈路：所有跑車數(shù)據(jù)可落盤、可回盤、有標(biāo)記、可查詢
3.2 數(shù)據(jù)挖掘&數(shù)據(jù)標(biāo)注：尋找有價(jià)值的數(shù)據(jù)
3.3 case分析、可視化：可視化并分析、定位問題
4?仿真刷庫：積累足夠的case，驗(yàn)證迭代過程中是否帶來其他負(fù)面影響
