在物理AI领域，复杂环境下的自主感知、推理与决策能力，一直是科研人员攻克的关键难题。而这一能力的实现，高度依赖边缘端设备对视觉大模型的高效运行。但现实情况是，边缘设备受功耗与算力限制，难以在本地实现实时视觉认知，这成为制约物理AI发展的一大瓶颈。
缪峰指出，传统视觉感知链路存在明显弊端。光信号从采集到生成模型可处理的词元，要经过图像传感器采集、模数转换、缓存搬运、数字分块与嵌入等多道复杂工序。在这个过程中，海量冗余数据频繁搬运，导致边缘端能耗始终居高不下。为了解决这一问题，科研团队希望打破常规，直接在传感器中完成词元化，从物理层面绕过传统路径。
在此次研究中，该团队在国际上率先提出创新思路，将生成词元的过程前移至传感器，让传感器直接承担图像采集、图像分块和图像块嵌入等功能。这一突破性的想法，为解决边缘设备实时视觉认知难题带来了新的希望。
梁世军介绍了团队研制的“光语芯”芯片。这款芯片由光敏存储阵列和外围寻址电路构成。科研人员基于单层二硫化钼浮栅光电晶体管，构建了光敏存储阵列。阵列中的每个像素都具备感光、存储与模拟计算三重功能。当光信号写入后，会以浮栅电荷的形式被原位保存。外围寻址电路则能够选择性激活像素区域，完成图像分块操作。对于被选中的图像块，芯片会进一步施加特定的电压序列，使图像块中存储的光信息与嵌入矩阵在模拟域中完成乘加运算，最终输出的电流即为词元。
缪峰强调，这一成果具有重大意义。它从根本上颠覆了“先感光、再缓存、后计算”的串行范式，为后摩尔时代突破边缘AI算力与功耗的限制开辟了全新路径。该技术有望在具身智能、低空无人机、智能安防等多个领域发挥重要作用，为这些领域提供高能效、近零延迟的视觉认知基座，推动物理AI向大规模应用迈进。
