
曙海教學(xué)優(yōu)勢
本課程面向企事業(yè)項(xiàng)目實(shí)際需要,秉承二十一年積累的教學(xué)品質(zhì),Xilinx-FPGA人工智能設(shè)計(jì)與實(shí)現(xiàn)技術(shù)高級培訓(xùn)-以項(xiàng)目實(shí)現(xiàn)為導(dǎo)向,老師將會與您分享設(shè)計(jì)的全流程以及工具的綜合使用經(jīng)驗(yàn)、技巧。線上/線下/上門皆可,Xilinx-FPGA人工智能設(shè)計(jì)與實(shí)現(xiàn)技術(shù)高級培訓(xùn)-專家,課程可定制,熱線:4008699035。
曙海的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。曙海的課程在業(yè)內(nèi)有著響亮的知名度。大批企業(yè)和曙海
建立了良好的合作關(guān)系,合作企業(yè)30萬+。
課程內(nèi)容
第一、演示FPGA AI項(xiàng)目的視頻文件和Vitis AI軟件開發(fā)原理與環(huán)境搭建。
1.演示FPGA AI項(xiàng)目視頻文件,讓學(xué)員對FPGA AI項(xiàng)目的應(yīng)用范圍和實(shí)現(xiàn)方法有一個(gè)直觀的認(rèn)識。
2.FPGA AI環(huán)境搭建。
3.FPGA AI開發(fā)原理和流程。介紹深度學(xué)習(xí)處理單元DPU、AI優(yōu)化器、AI量化器、AI編譯器、運(yùn)行時(shí)XRT、DPU指令集等Vitis AI主要概念、開發(fā)流程、專有命令和API接口。
4.FPGA AI開發(fā)板介紹和使用。
5.Kria KV260 AI開發(fā)板加速原理和自帶例程詳解。
第二、yolov3 & yolov3_tiny口罩訓(xùn)練移植全流程與yolov2_tiny & yolov4_tiny目標(biāo)識別與跟蹤例程。
1.KV260 Smartcam硬件平臺制作。
2.口罩識別yolov3和yolov3-tiny模型訓(xùn)練、PC驗(yàn)證和移植KV260全流程。
3.Ultra96 yolov2-tiny Vitis AI 1.3模型轉(zhuǎn)換與固化、量化與編譯、開發(fā)板圖像預(yù)處理程序、DPU AI調(diào)用命令集和DPU輸出后處理程序(包括目標(biāo)閾值篩選、非最大值抑制 NMS和目標(biāo)框繪制)和目標(biāo)跟蹤算法程序,掌握yolo模型目標(biāo)識別后處理程序和用戶算法程序的編寫。
第三、Gstreamer主流AI模型全流程的設(shè)計(jì)、訓(xùn)練與FPGA轉(zhuǎn)化。
1.介紹多媒體GStreamer框架和插件,包括Element、Queue、Tee、Pad、Bin等基本元素,filesrc、v4l2src、kmssink、h264parse、x264enc等主要模塊,和qp、leaky、control-rate、target-bitrate、periodicity-idr、gop-length等主要參數(shù),并在PC虛擬機(jī)上進(jìn)行pipeline編程練習(xí)。
2.介紹Xilinx基于Gstreamer框架的視頻開發(fā)套件Vitis Video Analytics SDK?(VVAS),包括硬件與軟件對應(yīng)的層次結(jié)構(gòu),主要組件omxh264enc、omxh264dec、ivas_xfilter、ivas_xmetaaffixer等的作用與命令格式,并以框圖上逐次增加功能模塊的方式講解VVAS pipeline語言如何編寫,掌握用這種高度集成和方便的工具實(shí)現(xiàn)FPGA AI視覺應(yīng)用編程。
3.利用在前面的課程中編譯得到的yolov2-tiny xmodel模型,使用VVAS編程語言講解編寫目標(biāo)識別pipeline, 實(shí)現(xiàn)在KV260上的視頻文件讀取、圖像預(yù)處理、DPU運(yùn)行、后處理、視頻輸出和存盤的所有功能。
4.基于KV260的自帶人臉識別模型和人物跟蹤模型,分別講解編寫VVAS pipeline人臉識別和人物跟蹤,輸出顯示在HDMI上,同時(shí)改變Gstreamer VVAS參數(shù)直觀感受不同的參數(shù)對視頻帶來的影響,講解如何正確設(shè)置Gstreamer VVAS參數(shù)。