近日，东南大学毫米波国家重点实验室、东南大学电磁空间研究院、琶洲实验室智能超材料研究中心崔铁军院士团队联合北京大学李廉林教授，使用多层透射式数字编码超表面构建了可实时调节的全衍射式神经网络（可编程人工智能机，PAIM），成功实现了网络参数的实时编程和光速计算特性，并展示了多种应用案例，包括图像识别、强化学习和通信多通道编解码等，在国际上首次实现和展示了微波空间全衍射式可调神经网络。相关工作以A programmable diffractive deep neural network based on a digital-coding metasurface array为题发表在Nature Electronics上[1]。东南大学博士生刘彻和马骞（现为至善博后）为共同第一作者，崔铁军院士为通讯作者。
研究背景
目前，人工智能的实现主要依赖两种技术，一是基于计算机的机器学习算法（例如深度学习[2]、极限学习[3]和强化学习[4]等），二是专用集成电路和特制的光计算芯片[5]。一个典型的人工智能神经网络（artificial neural network，ANN）的实现，一般使用层级连接的人工神经元来模拟人脑神经元之间的连接和行为。通过大量数据的训练，ANN已能完成众多的智能任务，且在人脸识别、自动驾驶、语音处理和医疗诊断等方面获得了大量应用。除了基于计算机和芯片实现的ANN网络，全光实现的ANN最近也被多个团队所提出[6, 7]。这些光学衍射神经网络利用光的矢量叠加性和空间自由传播特性可实现并行的矩阵运算操作，以此来模拟人工神经元之间的交互和连接。同时，使用光学透镜或反射介质模拟人工神经元对信号的调制作用，最终构造出具有光速并行计算和低功耗特性的ANN硬件。
目前，虽然光学衍射神经网络得以实现，但大都具有功能固化、不可调节、不支持参数修改、使用成本高等缺点，严重制约了其功能扩展。在未来的实际应用中，为了提高集成度和通用性，衍射神经网络必然会朝着多功能集成和可编程方向发展，因此可编程的衍射神经网络逐渐成为该领域的研究热点。近年来，现场可编程信息超表面的兴起[8]为实现可编程的衍射神经网络提供了良好契机。崔铁军院士和李廉林教授团队依靠长期以来在现场可编程信息超表面的理论和技术积淀，率先使用多层透射式数字编码超表面实现了现场可编程的微波驱动的衍射神经网络硬件，称之为可编程人工智能机（PAIM）。
创新研究
研究团队使用五层透射式的可编程超表面阵列来层级调控电磁波的空间传播和交互特性（如图1所示），其中每层超表面阵列都有8×8个单元，每个单元都可以看成人工神经网络（ANN）中的一个神经元节点，整个PAIM可看成是一个ANN的物理实现。每个超表面单元能在-22dB到13dB的范围内调控透射电磁波的幅度，同时改变和幅度耦合的相位。
图1 可编程人工智能机的工作原理
当入射电磁波照射到一个可编码超表面单元时，电磁波的幅度和相位会被该超表面单元调控，调控的系数由FPGA预先加载到单元上（图1c）。这个被调控后的电磁波在穿过此单元后，会变为一个新的电磁波辐射源向各个方向辐射电磁波。这样，第一层超表面的每个单元都会向第二层超表面辐射电磁波并进行矢量叠加（图1b）。叠加后的电磁波就作为第二层每个超表面单元的入射电磁波，经过调制后继续以同样的方式向第三层超表面传播，最终传输至第五层超表面。最后将第五层超表面的输出作为整个PAIM最终的输出。整个前向过程可以看成是利用透射超表面阵列逐层调控电磁波在自由空间传播过程中的能量分布的过程。
研究团队为PAIM定制了相关的驱动模块、FPGA控制电路模块和用户交互界面，同时开发了针对PAIM参数训练的离散优化算法、强化学习算法和误差校准算法，提高了PAIM的计算精度和可用性。基于PAIM的硬件系统架构，研究团队展示了多种应用案例，包括图像识别、强化学习和通信中多路用户的同时编解码。
在图像识别案例中，PAIM的第一层超表面作为图像输入层，根据输入图像的像素分布调制每个单元的增益系数，当平面电磁波穿过第一层超表面后就会携带输入图像的信息传输到后续的四层超表面。PAIM的后四层被训练为图像识别器，最终输出的电磁场能量分布会反映出图像被预测为哪一类的概率，并被接收天线所接收、识别。基于10类手写数字图像识别的仿真验证案例显示了PAIM可以达到90%以上的识别正确率，同时PAIM在简单图案识别的实测案例中取得了100%的识别正确率（图2）。
图2 基于PAIM的简单图案识别实测结果
在强化学习实测案例中，通过与电磁环境的不断交互和自我学习，PAIM将随机分布的入射电磁波能量聚焦到预定的一个（图3b）或两个（图3c）目标点上。强化学习是一种结果导向的算法，可直接基于实测结果进行优化，由此可以摆脱仿真精度和其他误差对优化结果的影响，这是强化学习的优势。此强化学习案例展示了PAIM独特的现场可编程和电磁环境实时感知特性，这是之前固化衍射神经网络所不具备的。
图3 基于PAIM的强化学习案例示意图
在通信编解码案例中，研究团队演示了基于PAIM的实时编解码和去噪功能，可在同一信道中同时传输四路用户信号。研究团队使用PAIM传输了东南大学毫米波国家重点实验室的标志图案（图4a），为了加快传输速率使用不同用户通道传输图像的不同部分，由此使得传输速度提高为原来的四倍。在噪声环境中的实验测试结果表明，PAIM同时实现了去噪和编解码功能。和传统的CDMA通信架构相比，PAIM直接在电磁波的模拟域进行信号的编解码和去噪操作，因此可极大地减少通信时延。同时得益于PAIM强大的空间电磁波处理能力，能很好地处理和分解空分信号，使得在同一信道中可同时传输多路信号，极大地提高了信道容量。
图4 基于PAIM的通信编解码和去噪实测案例
事实上，由于频谱资源的日益枯竭，空分多址技术得到了越来越多的关注并已经成为第五代和第六代无线通信的关键技术之一。PAIM可单独作为解码器置于通信的接收端，同时接收多个通信基站和其他发射端所发射的信号，并对其进行实时预处理。此外，PAIM不仅可接收传统发射天线所发射的信号，还能接收由反射式超表面所发射的具有丰富空间能量分布的电磁波信号。通过加载预先设置的单元参数，PAIM可解码不同发射端发射的信号，并将其能量传递到对应的接收天线口面上。
研究团队介绍
通讯作者：
崔铁军，东南大学首席教授，中国科学院院士，IEEE Fellow，长期从事电磁超材料和计算电磁学的研究工作，是科睿唯安全球高被引学者。创建了信息超材料新体系，负责开发了自主可控的电磁专用仿真软件，取得了显著的经济效益与社会效益。研究成果入选2010年中国科学十大进展，作为第一完成人获2011年教育部自然科学一等奖、2014年国家自然科学二等奖、2016年军队科学技术进步一等奖、及2018年国家自然科学二等奖等。
共同第一作者：
刘彻，东南大学信息科学与工程学院博士生；
马骞，东南大学信息科学与工程学校博士生，现为东南大学至善博后。
参考文献
[1]C. Liu et al., "A programmable diffractive deep neural network based on a digital-coding metasurface array," Nature Electronics, 2022.
[2]Y. Lecun, Y. Bengio, and G. Hinton, "Deep learning," Nature, vol. 521, no. 7553, pp. 436-444, 2015.
[3]G. Huang, G. B. Huang, S. J. Song, and K. Y. You, "Trends in extreme learning machines: A review," Neural Networks, vol. 61, pp. 32-48, Jan 2015.
[4]V. Mnih et al., "Human-level control through deep reinforcement learning," Nature, vol. 518, no. 7540, pp. 529-533, Feb 26 2015.
[5]H. R. Ren, X. P. Li, Q. M. Zhang, and M. Gu, "On-chip noninterference angular momentum multiplexing of broadband light," (in English), Science, Article vol. 352, no. 6287, pp. 805-809, May 2016.
[6]X. Lin et al., "All-optical machine learning using diffractive deep neural networks," Science, vol. 361, no. 6406, pp. 1004-1008, Sep 7 2018.
[7]E. Khoram et al., "Nanophotonic media for artificial neural inference," Photonics Research, vol. 7, no. 8, pp. 823-827, Aug 1 2019.
[8]T. J. Cui, M. Q. Qi, X. Wan, J. Zhao, and Q. Cheng, "Coding metamaterials, digital metamaterials and programmable metamaterials," Light-Science & Applications, vol. 3, p. e218, Oct 2014, Art. no. e218.
