【所屬領(lǐng)域】

   光電信息

【技術(shù)背景】

在信息時(shí)代，機(jī)器視覺在實(shí)現(xiàn)智能社會(huì)方面發(fā)揮著重要作用。視覺特征提取是機(jī)器視覺的一項(xiàng)關(guān)鍵技術(shù)，該技術(shù)可以提取圖像中具有鮮明特征的信息，諸如邊緣、角點(diǎn)、圓以及圖像形狀等特征，這些特征是標(biāo)定機(jī)器視覺系統(tǒng)模型參數(shù)和運(yùn)用機(jī)器視覺技術(shù)進(jìn)行實(shí)際應(yīng)用的前提和基礎(chǔ)。視覺特征提取技術(shù)廣泛應(yīng)用于自主移動(dòng)智能機(jī)器人、無(wú)人駕駛和無(wú)人機(jī)等場(chǎng)景，這些應(yīng)用場(chǎng)景對(duì)視覺特征提取算法的魯棒性和幀率提出了巨大挑戰(zhàn)。

具體來(lái)說(shuō)，視覺特征提取算法包括SIFT（Scale-Invariant Feature Transform，尺度不變特征轉(zhuǎn)換算法）、SURF（Speeded-Up Robust Features，加速穩(wěn)健特征）、ORB（Oriented FAST and Rotated BRIEF，快速特征點(diǎn)提取描述）、HOG（Histogram of Oriented Gradient，方向梯度直方圖）、LBP（Local Binary Patterns，局部二值模式）等。在SURF、ORB、HOG、LBP這些經(jīng)典的特征提取算法中，SURF的魯棒性相對(duì)較高，但是過于依賴主方向的選取，使得其方向變化魯棒性不足。SIFT算法可以從圖像中提取具有不變性的魯棒局部特征，對(duì)方向變化、光照變化、噪聲、雜物場(chǎng)景及遮擋影響等方面的魯棒性最強(qiáng)，滿足無(wú)人駕駛技術(shù)的需求。SIFT算法的運(yùn)算量大從而導(dǎo)致的系統(tǒng)幀率低、功耗高的問題可以通過設(shè)計(jì)具有高并行度的專用硬件加速器芯片來(lái)解決。

【痛點(diǎn)問題】

國(guó)內(nèi)外已有多個(gè)SIFT硬件加速器設(shè)計(jì)發(fā)表，總體的研究方向朝著更高性能、更高幀率、更高匹配精度以及更低功耗、更低運(yùn)算量、更低硬件開銷的方向發(fā)展。但是對(duì)于高性能SIFT硬件加速器的設(shè)計(jì)仍存在如下三個(gè)共性問題和設(shè)計(jì)挑戰(zhàn)：

1. SIFT運(yùn)算量大，需全并行、全流水架構(gòu)進(jìn)行加速，但并行高斯金字塔構(gòu)建帶來(lái)了大量的硬件開銷；

2. 高斯金字塔構(gòu)建中部分特征點(diǎn)的丟失，使得加速器提取的特征魯棒性變差；

3. 關(guān)鍵點(diǎn)檢測(cè)部分和描述符生成部分的內(nèi)部串行執(zhí)行，兩個(gè)部分交互執(zhí)行的方式使得加速器處理速度存在瓶頸，造成系統(tǒng)幀率受限。

【解決方案】

針對(duì)上述問題，本成果提出了一系列新方法和新策略，實(shí)現(xiàn)了全并行的高能效SIFT硬件加速器芯片硬件架構(gòu)。針對(duì)高斯金字塔構(gòu)建硬件開銷大的問題，提出了快慢雙時(shí)鐘域和部分復(fù)用策略；針對(duì)高斯金字塔構(gòu)建過程中的特點(diǎn)丟失問題，提出了動(dòng)態(tài)padding設(shè)計(jì)策略；針對(duì)交互執(zhí)行及串行計(jì)算限制加速性能的問題，提出了一系列并行化的設(shè)計(jì)方案，即基于乒乓緩存實(shí)現(xiàn)了關(guān)鍵點(diǎn)檢測(cè)和描述符生成部分的并行處理、基于像素梯度預(yù)計(jì)算實(shí)現(xiàn)了關(guān)鍵點(diǎn)檢測(cè)和梯度幅值輔角的并行計(jì)算，以及創(chuàng)新性地提出了一種基于圓形關(guān)鍵點(diǎn)鄰域的描述符生成算法，實(shí)現(xiàn)了主方向和描述符產(chǎn)生的高效并行計(jì)算。

圖3 提出的基于圓形關(guān)鍵點(diǎn)鄰域的描述符生成算法，可以實(shí)現(xiàn)主方向計(jì)算和描述符產(chǎn)生過程的并行化計(jì)算

【性能指標(biāo)】

本成果研發(fā)的全并行高能效SIFT硬件加速器芯片已在Xilinx Virtex UltraScale+評(píng)估板中實(shí)現(xiàn)?；贛ikolajczyk and Schmid標(biāo)準(zhǔn)數(shù)據(jù)集對(duì)提出的SIFT設(shè)計(jì)進(jìn)行驗(yàn)證，基于RANSAC(RANdom SAmple Consensus)算法檢查匹配點(diǎn)的正確性。所提SIFT設(shè)計(jì)的匹配結(jié)果優(yōu)于相關(guān)工作，這主要得益于子區(qū)域重疊及padding增加魯棒性，及優(yōu)化的參數(shù)選擇（如高斯卷積核尺寸、關(guān)鍵點(diǎn)鄰域大小等）。與文獻(xiàn)中相關(guān)FPGA及ASIC工作的硬件開銷對(duì)比顯示：該設(shè)計(jì)的硬件開銷總體和現(xiàn)有水平相當(dāng)，但通過實(shí)現(xiàn)了動(dòng)態(tài)padding提高了魯棒性，同時(shí)實(shí)現(xiàn)了100MHz時(shí)鐘下162fps@VGA的最高幀率和49.766 M pixels/s的最高計(jì)算效率。該SIFT硬件加速器在基于180nmCMOS工藝下實(shí)現(xiàn)了2.25 mJ/frame的能量效率。

圖4基于所提SIFT算法的關(guān)鍵點(diǎn)提取與匹配結(jié)果圖，基于標(biāo)準(zhǔn)數(shù)據(jù)集的匹配結(jié)果與相關(guān)工作的比較圖

圖5 SIFT硬件加速器處理性能比較表：該設(shè)計(jì)取得了國(guó)際SIFT硬件加速器芯片設(shè)計(jì)中最高幀率的學(xué)術(shù)記錄、最高計(jì)算效率和能量效率，并采用了動(dòng)態(tài)padding技術(shù)提高了魯棒性

圖6 基于所提出的全并行高能效SIFT硬件加速器芯片的SoC驗(yàn)證平臺(tái)及65nm芯片版圖

【應(yīng)用場(chǎng)景】

視覺特征提取技術(shù)廣泛應(yīng)用于自主移動(dòng)智能機(jī)器人、無(wú)人駕駛和無(wú)人機(jī)等場(chǎng)景。

【發(fā)展規(guī)劃】

【知識(shí)產(chǎn)權(quán)】

該成果已申請(qǐng)/授權(quán)中國(guó)發(fā)明專利多項(xiàng)，下表是部分展示：