Abstract
1 Introduction
脉冲神经网络（SNN）是第三代人工神经网络，由于其更大的生物学合理性和实现生物神经网络中观察到的超低功耗计算的潜力，已获得越来越多的研究关注。利用稀疏、脉冲驱动的计算和细粒度并行性，支持SNN高效推理的TrueNorth[2]、Loihi[11]和Tijic[42]等全数字神经形态计算（NC）芯片确实证明了比基于GPU的AI解决方案提高了数量级的功效。此外，新兴的现场混合信号NC芯片[47，54]，通过新兴的非易失性技术实现，可以比上述数字芯片进一步提高硬件效率。
对于ANN到SNN的转换方法，他们建议重用来自更容易训练的ANN的网络权重。这可以被视为教师-学生（T-S）学习的具体示例，其以网络权重的形式将知识从教师ANN传递到学生SNN。通过正确确定SNN的神经元放电阈值和初始膜电位，最近的研究表明，ANN的激活值可以与尖峰神经元的放电速率很好地接近，在许多具有挑战性的AI基准上实现了近乎无损的网络转换[4，5，7，12，14，21，22，34，46，49，63]。然而，这些网络转换方法仅基于无泄漏积分和激发（IF）神经元模型开发，并且通常需要大的时间窗以达到可靠的激发率近似值。因此，将这些转换的SNN部署到现有的神经形态芯片上并不简单和有效。
通常，SNN学习算法可分为芯片外学习[16，64]和芯片内学习[9，41，43]。上面讨论的几乎所有直接SNN训练方法都属于芯片外学习类别。由于缺乏有效的方法来利用扣球活动中的高度稀疏性，并且需要存储用于信用分配的非本地信息，这些芯片外方法显示出非常低的训练效率。此外，由于众所周知的设备非理想性问题[6]，实际的网络动态将偏离芯片外模拟的网络动态，导致芯片外训练的SNN在部署到模拟计算基板上时精度显著下降[1，24，37，44]。为了解决这些问题，最近的工作提出了局部Hebbian学习[11，28，41]和基于梯度的学习近似[10，19，32，40]形式的片上学习算法，而这些算法的有效性仅在简单的基准上得到了证明，例如MNIST和N-MNIST数据集。
编程笔记 » Training Spiking Neural Networks with Local Tandem Learning