理大理學院副院長、應用物理學系柴揚教授帶領的研究團隊，制備仿生昆蟲視覺系統的光電梯級神經元，可以在感知終端執行高信息傳輸速率，並融合「時空信息」。
昆蟲視覺系統基於梯級神經元進行迅捷的運動感知。
香港理工大學（理大）最新一項研究，從飛行昆蟲的微小視覺系統得到啟發，制備了光電梯級神經元（optoelectronic graded neurons），成功提升視覺感知動態識別率，從而增強視覺傳感器的功能。
人類視覺系統可以處理較複雜的動態視覺信息。飛行昆蟲視覺系統則具有較強的閃爍融合頻率（FFF – flicker function frequency ），能夠感知高速運動的物體。傳統圖像傳感器偵測動作，須處理包含時間和空間的動態信息（合稱「時空信息」），涉及複雜的神經網絡和計算過程。今次受自然啟發的研究，能以較少的硬件資源，實現更敏捷的視覺感知。
理大理學院副院長、應用物理學系柴揚教授帶領的研究團隊，制備仿生昆蟲視覺系統的光電梯級神經元，可以在感知終端 （sensory terminals）執行高信息傳輸速率（>1000bit/s），並融合「時空信息」。重要的是，這項研究成果拓展了傳統視覺傳感器前所未有的功能。
柴揚教授表示︰「這項研究從根本上加深了我們對生物啟發計算的理解，所衍生的技術亦極具應用潛力。例如自動駕駛車輛需要識別交通道路中的高速運動，監測系統亦適用。」
仿生感知計算
要識別迅速的動態，需要融合「時空信息」並傳輸到處理器，這對計算資源要求具極大的挑戰。人工視覺系統通常由圖像傳感器和處理器組成。目前大多數傳感器只能輸出含「空間信息」的「幀」（frame，即紀錄動態影像畫面的單位）而無法融合「時間信息」。
理大研究以「光電梯級神經元實現動態視覺信息的仿生感知和計算」為題，已刊登於《自然-納米技術 》（Nature Nanotechnology），聚焦融合感知計算（in-sensor computing）。研究團隊此前，實現了針對靜態圖像的對比度增強及不同光強背景的視覺適應。
柴揚教授提到︰「我們多年來潛心研究人工視覺。以往傳感器陣列只用於感知不同環境中的靜態圖像並增強其特徵，我們現希望研究可否進一步利用作動態感知。然而傳感終端無法負擔複雜的硬件，於是我們的研究方向另闢新徑，聚焦能夠敏捷感知動態的微小視覺系統，借鑑了飛行昆蟲。」
飛行昆蟲（例如果蠅）僅依賴微小的視覺系統，可以比人類更快及敏捷地感知移動中的物體。具體而言，在昆蟲的視覺系統中，視網膜（傳感器）和大腦（計算器）之間的信號傳輸距離比較短，而且昆蟲視覺系統是由非尖峰梯級神經元（non-spiking graded neurons）組成，其信息傳輸速率比人類視覺系統中的尖峰神經元（spiking neurons）高得多。
基本上，梯級神經元能有效地編碼時間信息，從而減少了計算器中融合「時空信息」所需的大量視覺數據傳輸。研究團隊從中得到啟發，研發了仿生的光電梯級神經元。
精準的動態感知識別
精準的動態識別對於自動駕駛系統和監視系統等應用至關重要。研究發現，利用含淺缺陷能級的二硫化鉬光電晶體管（MoS2 phototransistors），模仿飛行昆蟲視覺系統中梯級神經元的響應特性，在光照刺激下，可以實現高達1200 bit/s （1,200 bit s−1） 的傳遞速率。
通過融合及編碼「時空信息」並壓縮圖像到人工神經網絡，動作識別準確率達到99.2%，遠高於傳統圖像傳感器的50%準確率。
這項研究克服了動態感知信息計算消耗難題，研發出最新的光電梯級神經元，實現了視覺感知系統的時空資訊融合，並有效檢測到視野中的運動輪廓及軌跡。即使硬體資源有限，也能夠基於該仿生神經元感知動態。從昆蟲視覺系統的敏捷運動感知中汲取靈感，這項研究以創新智能的方式實現了集成靜態和動態運動的傳輸速率和處理，帶來顯著進展，在機器視覺系統領域創建了里程碑。
References:
Nature Nanotechnology 18 (2023). Optoelectronic graded neurons for bioinspired in-sensor motion perception.
Nature Nanotechnology 14, 776-782 (2019). Optoelectronic resistive random access memory for neuromorphic vision sensors.
Nature Electronics 5, 84-91 (2022). Bioinspired in-sensor visual adaptation for accurate perception.
