課程內(nèi)容

一、?演示FPGA?AI項目的視頻文件和Vitis?AI軟件開發(fā)原理與環(huán)境搭建。

1.?演示FPGA?AI項目視頻文件，讓學(xué)員對FPGA AI項目的應(yīng)用范圍和實現(xiàn)方法有一個直觀的認識。

2.?FPGA AI環(huán)境搭建。介紹虛擬機VMware、Ubuntu、Vitis、docker、Vitis AI、CMake、Opencv、XRT和Model Zoo的安裝和環(huán)境變量設(shè)置。

3.?FPGA AI開發(fā)原理和流程。介紹深度學(xué)習處理單元DPU、AI優(yōu)化器、AI量化器、AI編譯器、運行時XRT、DPU指令集等Vitis AI主要概念、開發(fā)流程、專有命令和API接口。

4.?FPGA AI開發(fā)板介紹和使用。Alveo系列、Versal系列、ZynqMP系列，重點介紹本課程所用開發(fā)板Kria KV260、Ultra96、ZCU104，內(nèi)容包括開發(fā)板硬件接口和連接、鏡像燒錄、網(wǎng)絡(luò)配置、通訊軟件和例程演示。

5.?Kria KV260 AI開發(fā)板加速原理和自帶例程詳解。介紹開發(fā)板自帶的兩種加速核Smartcam、Aibox-reid實現(xiàn)原理、C++、Python和GStreamer VVAS三種語言例程演示和程序解析，其中包含VART調(diào)用DPU流程和命令，比特流和kernel載入、輸入預(yù)處理、模型運行和輸出參數(shù)后處理全過程。

二、?yolov3 & yolov3_tiny口罩訓(xùn)練移植全流程與yolov2_tiny & yolov4_tiny目標識別與跟蹤例程。

1.?KV260 Smartcam硬件平臺制作。全制作過程采用非項目開發(fā)形式Vitis、Vivado設(shè)計與編譯，介紹makefile、Vitis、Vivado、Tcl批處理文件，其中對于涉及到Vitis開發(fā)軟件亦做了簡單介紹,也可以用Vitis或Vivado Gui界面打開分析編譯。

2.?口罩識別yolov3和yolov3-tiny模型訓(xùn)練、PC驗證和移植KV260全流程。這是一個包括模型修改、數(shù)據(jù)集訓(xùn)練、模型轉(zhuǎn)化與固化、量化與編譯、鏡像生成，其訓(xùn)練模型首先在PC機上使用Keras框架上進行驗證，再將鏡像放到KV260上進行實操驗證。并對其中用到的命令、PC機程序和FPGA上程序進行講解。

3.?KV260 Vitis AI 1.4 yolov4-tiny模型編譯生成xmodel，開發(fā)板后處理程序解讀，開發(fā)板實操x11和hdmi顯示和影響時延因素分析，本節(jié)生成的模型也在下面的Gstreamer編程中使用。

4.?Ultra96 yolov2-tiny Vitis AI 1.3模型轉(zhuǎn)換與固化、量化與編譯、開發(fā)板圖像預(yù)處理程序、DPU AI調(diào)用命令集和DPU輸出后處理程序（包括目標閾值篩選、非最大值抑制 NMS和目標框繪制）和目標跟蹤算法程序，掌握yolo模型目標識別后處理程序和用戶算法程序的編寫。

三、Gstreamer主流AI模型全流程的設(shè)計、訓(xùn)練與FPGA轉(zhuǎn)化。

1.?介紹多媒體GStreamer框架和插件，包括Element、Queue、Tee、Pad、Bin等基本元素，filesrc、v4l2src、kmssink、h264parse、x264enc等主要模塊，和qp、leaky、control-rate、target-bitrate、periodicity-idr、gop-length等主要參數(shù)，并在PC虛擬機上進行pipeline編程練習。

2.?介紹Xilinx基于Gstreamer框架的視頻開發(fā)套件Vitis Video Analytics SDK?(VVAS)，包括硬件與軟件對應(yīng)的層次結(jié)構(gòu)，主要組件omxh264enc、omxh264dec、ivas_xfilter、ivas_xmetaaffixer等的作用與命令格式，并以框圖上逐次增加功能模塊的方式講解VVAS pipeline語言如何編寫，掌握用這種高度集成和方便的工具實現(xiàn)FPGA?AI視覺應(yīng)用編程。

3.?利用在前面的課程中編譯得到的yolov2-tiny xmodel模型，使用VVAS編程語言講解編寫目標識別pipeline, 實現(xiàn)在KV260上的視頻文件讀取、圖像預(yù)處理、DPU運行、后處理、視頻輸出和存盤的所有功能。

4.?基于KV260的自帶人臉識別模型和人物跟蹤模型，分別講解編寫VVAS pipeline人臉識別和人物跟蹤,輸出顯示在HDMI上，同時改變Gstreamer VVAS參數(shù)直觀感受不同的參數(shù)對視頻帶來的影響，講解如何正確設(shè)置Gstreamer VVAS參數(shù)。