近日，深港微電子學(xué)院安豐偉課題組在圖像芯片領(lǐng)域取得新進(jìn)展，相關(guān)研究成果在國(guó)際頂級(jí)會(huì)議ESSCIRC2023以及期刊TCAS-I上發(fā)表。

基于二值化引導(dǎo)濾波的28nm立體匹配芯片

立體匹配是一種從二維圖像獲取三維信息的技術(shù)，廣泛應(yīng)用在無(wú)人駕駛和三維重建等領(lǐng)域，但由于其高計(jì)算和存儲(chǔ)復(fù)雜度，通常需要高算力平臺(tái)如GPU進(jìn)行處理。作者針對(duì)立體匹配算法的特性提出兩種SRAM處理架構(gòu)，首先是設(shè)計(jì)了一種利用分布式控制器的高帶寬SRAM緩存架構(gòu)，無(wú)需電路定制化并解決了單一SRAM控制器的時(shí)序收斂問(wèn)題。同時(shí)，針對(duì)傳統(tǒng)圖像處理中多級(jí)行緩存架構(gòu)的容量小但是芯片面積占用率高的痛點(diǎn)，設(shè)計(jì)了基于single-bank SRAM 圖像行緩存架構(gòu)，進(jìn)一步減少了芯片面積和功耗。此外，作者引入了二值化引導(dǎo)濾波后處理架構(gòu)，通過(guò)資源復(fù)用以及近似計(jì)算的策略,實(shí)現(xiàn)大幅精度提升。該設(shè)計(jì)成功在TSMC 28nm CMOS工藝下流片并測(cè)試成功，芯片面積僅有 1.26mm2 實(shí)現(xiàn)了 FHD 分辨率下 129fps 的頓率輸出，并且功耗僅有147mW。

圖1 基于二值化引導(dǎo)濾波的28nm立體匹配芯片Die和Layout圖

具有自適應(yīng)片上存儲(chǔ)壓縮的時(shí)域空域視頻降噪?yún)f(xié)處理器

這項(xiàng)工作設(shè)計(jì)了一種無(wú)需片外存儲(chǔ)的時(shí)域空域視頻降噪?yún)f(xié)處理器，旨在抑制圖像序列中的高強(qiáng)度噪聲。該協(xié)處理器首先通過(guò)空間濾波處理圖像序列，然后在像素級(jí)別利用噪聲估計(jì)和運(yùn)動(dòng)檢測(cè)算法將前后圖像幀融合，以實(shí)現(xiàn)有效的深度去噪。為實(shí)現(xiàn)圖像圖像整幀的片上緩存，定制了能夠自適應(yīng)動(dòng)態(tài)調(diào)整壓縮率的類JPEG編解碼器，其可以利用較少的SRAM實(shí)現(xiàn)圖像的高質(zhì)量壓縮存儲(chǔ)。實(shí)驗(yàn)證明，協(xié)處理器可以有效消除視頻圖像中的高強(qiáng)度噪聲，尤其在處理對(duì)人眼感知較為敏感的噪聲閃爍時(shí)，它表現(xiàn)出顯著的抑制效果。另外，通過(guò)定制的編解碼器，幀緩沖區(qū)的存儲(chǔ)空間消耗減少約80％。此外，該協(xié)處理器還在Stratix V FPGA平臺(tái)上實(shí)現(xiàn)了灰度、RGB和RAW等不同版本。

圖2 (a)Noisy image, (b) median filter,(c) our method, (d) Non-local means, (e) STMKF, (f) BM3D, (g)VBM4

去馬賽克算法與芯片架構(gòu)設(shè)計(jì)

去馬賽克（Demosaicing）是目前絕大多數(shù)數(shù)碼相機(jī)都需要的圖像處理環(huán)節(jié)，其目的是從覆蓋有濾色矩陣（Color filter array，簡(jiǎn)稱CFA）的感光元件所輸出的不完全色彩取樣中重建出全彩影像。傳統(tǒng)去馬賽克算法多使用同樣的方法重建所有像素，因此易在重建的圖像邊緣處產(chǎn)生鋸齒，而基于神經(jīng)網(wǎng)絡(luò)的新馬賽克算法則有計(jì)算復(fù)雜度過(guò)高，難以被廣泛應(yīng)用于硬件平臺(tái)的問(wèn)題。針對(duì)這些問(wèn)題，我們?cè)O(shè)計(jì)了一種通過(guò)分別重建邊緣像素與非邊緣像素來(lái)消除邊緣鋸齒，同時(shí)根據(jù)色差對(duì)全彩圖像進(jìn)行濾波以消除偽色（Color artifacts）的去馬賽克算法以及對(duì)應(yīng)的硬件架構(gòu)。該方案經(jīng)過(guò)FPGA與180nm工藝庫(kù)仿真的驗(yàn)證，實(shí)現(xiàn)了在較低的資源消耗下達(dá)到較好的去馬賽克效果。

圖3 去馬賽克與濾波效果對(duì)比

以上論文研究工作得到科技部重點(diǎn)研發(fā)計(jì)劃、市級(jí)科研經(jīng)費(fèi)、以及中微電高性能GPU聯(lián)合實(shí)驗(yàn)室的經(jīng)費(fèi)支持。

相關(guān)論文及鏈接：

[1]P. Dong, Z. Chen, K. Li, L. Chen, K. -T. Cheng and F. An, "A 1920×1080 129fps 4.3pJ/pixel Stereo-Matching Processor for Pico Aerial Vehicles," ESSCIRC 2023- IEEE 49th European Solid State Circuits Conference (ESSCIRC), Lisbon, Portugal, 2023, pp. 345-348, doi: 10.1109/ESSCIRC59616.2023.10268790.

論文連接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10268790

[2] Y. Zhang, X. Wang, G. Shi, Z. Peng, L. Chen and F. An, "Anti-Aliasing and Anti-Color-Artifact Demosaicing for High-Resolution CMOS Image Sensor," in IEEE Transactions on Circuits and Systems I: Regular Papers, doi: 10.1109/TCSI.2023.3290157.

論文鏈接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10178099

[3] G. Shi et al., "A Spatio-Temporal Video Denoising Co-Processor With Adaptive Codec," in IEEE Transactions on Circuits and Systems I: Regular Papers, doi: 10.1109/TCSI.2023.3311486.

論文鏈接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10178099

（來(lái)源：南方科技大學(xué)深港微電子學(xué)院）