光电梯级神经元提升动态感知

2023年5月

理大最新一项研究，从飞行昆虫的微小视觉系统得到启发，制备了光电梯级神经元（optoelectronic graded neurons），成功提升视觉感知动态识别率，从而增强视觉传感器的功能。

人类视觉系统可以处理较複杂的动态视觉信息。飞行昆虫视觉系统则具有较强的闪烁融合频率（FFF – flicker function frequency ），能够感知高速运动的物体。传统图像传感器侦测动作，须处理包含时间和空间的动态信息（合称「时空信息」），涉及複杂的神经网络和计算过程。今次受自然启发的研究，能以较少的硬件资源，实现更敏捷的视觉感知。

理大研究团队制备彷生昆虫视觉系统的光电梯级神经元，可以在感知终端 （sensory terminals）执行高信息传输速率（>1000bit/s），并融合「时空信息」。重要的是，这项研究成果拓展了传统视觉传感器前所未有的功能。

彷生感知计算

要识别迅速的动态，需要融合「时空信息」并传输到处理器，这对计算资源要求具极大的挑战。人工视觉系统通常由图像传感器和处理器组成。目前大多数传感器只能输出含「空间信息」的「帧」（frame，即纪录动态影像画面的单位）而无法融合「时间信息」。

理大研究以「光电梯级神经元实现动态视觉信息的彷生感知和计算」为题，已刊登于《自然-纳米技术 》（Nature Nanotechnology），聚焦融合感知计算（in-sensor computing）。研究团队此前，实现了针对静态图像的对比度增强及不同光强背景的视觉适应。

 飞行昆虫（例如果蝇）仅依赖微小的视觉系统，可以比人类更快及敏捷地感知移动中的物体。具体而言，在昆虫的视觉系统中，视网膜（传感器）和大脑（计算器）之间的信号传输距离比较短，而且昆虫视觉系统是由非尖峰梯级神经元（non-spiking graded neurons）组成，其信息传输速率比人类视觉系统中的尖峰神经元（spiking neurons）高得多。

基本上，梯级神经元能有效地编码时间信息，从而减少了计算器中融合「时空信息」所需的大量视觉数据传输。研究团队从中得到启发，研发了彷生的光电梯级神经元。

精准的动态感知识别

精准的动态识别对于自动驾驶系统和监视系统等应用至关重要。研究发现，利用含浅缺陷能级的二硫化钼光电晶体管（MoS2 phototransistors），模彷飞行昆虫视觉系统中梯级神经元的响应特性，在光照刺激下，可以实现高达1200 bit/s （1200 bit s−1） 的传递速率。

通过融合及编码「时空信息」并压缩图像到人工神经网络，动作识别准确率达到99.2%，远高于传统图像传感器的50%准确率。

这项研究克服了动态感知信息计算消耗难题，研发出最新的光电梯级神经元，实现了视觉感知系统的时空资讯融合，并有效检测到视野中的运动轮廓及轨迹。即使硬体资源有限，也能够基于该彷生神经元感知动态。从昆虫视觉系统的敏捷运动感知中汲取灵感，这项研究以创新智能的方式实现了集成静态和动态运动的传输速率和处理，带来显着进展，在机器视觉系统领域创建了里程碑。