光電梯級神經元提升動態感知

2023年5月

理大最新一項研究，從飛行昆蟲的微小視覺系統得到啟發，制備了光電梯級神經元（optoelectronic graded neurons），成功提升視覺感知動態識別率，從而增強視覺傳感器的功能。

人類視覺系統可以處理較複雜的動態視覺信息。飛行昆蟲視覺系統則具有較強的閃爍融合頻率（FFF – flicker function frequency ），能夠感知高速運動的物體。傳統圖像傳感器偵測動作，須處理包含時間和空間的動態信息（合稱「時空信息」），涉及複雜的神經網絡和計算過程。今次受自然啟發的研究，能以較少的硬件資源，實現更敏捷的視覺感知。

理大研究團隊制備仿生昆蟲視覺系統的光電梯級神經元，可以在感知終端 （sensory terminals）執行高信息傳輸速率（>1000bit/s），並融合「時空信息」。重要的是，這項研究成果拓展了傳統視覺傳感器前所未有的功能。

仿生感知計算

要識別迅速的動態，需要融合「時空信息」並傳輸到處理器，這對計算資源要求具極大的挑戰。人工視覺系統通常由圖像傳感器和處理器組成。目前大多數傳感器只能輸出含「空間信息」的「幀」（frame，即紀錄動態影像畫面的單位）而無法融合「時間信息」。

理大研究以「光電梯級神經元實現動態視覺信息的仿生感知和計算」為題，已刊登於《自然-納米技術 》（Nature Nanotechnology），聚焦融合感知計算（in-sensor computing）。研究團隊此前，實現了針對靜態圖像的對比度增強及不同光強背景的視覺適應。

飛行昆蟲（例如果蠅）僅依賴微小的視覺系統，可以比人類更快及敏捷地感知移動中的物體。具體而言，在昆蟲的視覺系統中，視網膜（傳感器）和大腦（計算器）之間的信號傳輸距離比較短，而且昆蟲視覺系統是由非尖峰梯級神經元（non-spiking graded neurons）組成，其信息傳輸速率比人類視覺系統中的尖峰神經元（spiking neurons）高得多。

基本上，梯級神經元能有效地編碼時間信息，從而減少了計算器中融合「時空信息」所需的大量視覺數據傳輸。研究團隊從中得到啟發，研發了仿生的光電梯級神經元。

精準的動態感知識別

精準的動態識別對於自動駕駛系統和監視系統等應用至關重要。研究發現，利用含淺缺陷能級的二硫化鉬光電晶體管（MoS2 phototransistors），模仿飛行昆蟲視覺系統中梯級神經元的響應特性，在光照刺激下，可以實現高達1200 bit/s （1200 bit s−1） 的傳遞速率。

通過融合及編碼「時空信息」並壓縮圖像到人工神經網絡，動作識別準確率達到99.2%，遠高於傳統圖像傳感器的50%準確率。

這項研究克服了動態感知信息計算消耗難題，研發出最新的光電梯級神經元，實現了視覺感知系統的時空資訊融合，並有效檢測到視野中的運動輪廓及軌跡。即使硬體資源有限，也能夠基於該仿生神經元感知動態。從昆蟲視覺系統的敏捷運動感知中汲取靈感，這項研究以創新智能的方式實現了集成靜態和動態運動的傳輸速率和處理，帶來顯著進展，在機器視覺系統領域創建了里程碑。