减少递归神经网络中神经元数量的方法

加拿大皇后大学的一个研究团队最近提出了一种新的约简随机递归神经网络(rRNN)的方法，rRNN是一种人工神经网络，通常用于基于数据的预测。他们的方法是在提前在arXiv上发表的一篇论文中提出的，允许开发人员最小化rRNN隐藏层中的神经元数量，从而提高其预测性能。

“我们的实验室专注于为人工智能应用设计硬件，”进行这项研究的研究人员之一比克马尔克斯告诉TechXplore。“在这项研究中，我们一直在寻找策略来理解神经网络的工作原理，同时试图减少我们打算构建的网络中的神经元数量，而不会对其在解决任务时的性能产生负面影响。需要解决的主要任务是预测，因为科学界和整个社会一直对此非常感兴趣。”

开发能够从数据中预测未来模式的机器学习工具已经成为世界各地许多研究团队的焦点。这一点也不奇怪，因为预测未来事件可能在各个领域都有重要的应用，例如预测天气、预测库存移动或绘制某些人类病理的演化图。

马尔克斯和他的同事进行的研究本质上是跨学科的，因为它整合了与非线性动力系统、时间序列分析和机器学习相关的理论。研究人员的主要目标是扩展之前可以用于神经网络分析的工具包，最小化隐藏rRNN层中的神经元数量，并部分消除这些网络的黑盒属性。

为了实现这个目标，他们引入了一种新的方法，将预测理论和机器学习集成到一个框架中。他们的技术可以用来提取和利用rNN输入数据的相关特征，并指导其隐含层的约简过程，最终提高其预测性能。

研究人员利用他们在研究中收集的见解，开发了一种新的人工神经网络模型，称为Takens灵感处理器。该模型由真实神经元和虚拟神经元组成，在混沌信号的高质量和长期预测等挑战性问题上取得了最先进的性能。

马尔克斯解释说：“我们模型的主要优势在于，它解决了构成典型人工神经网络的大量神经元所带来的问题。“当考虑优化这个网络来解决任务时，这些模型中太多的神经元通常会变成计算量很大的问题。在我们的设计中加入虚拟神经元的概念是一个非常方便的步骤。神经元”。

在他们的研究中，马尔克斯和她的同事还使用他们的混合处理器来稳定一个名为菲茨-休-纳古莫的心律失常神经模型。与其他标准神经网络相比，他们的方法可以将稳定神经网络的规模缩小15倍。

马尔克斯说：“我们的方法使我们能够发现在网络空间创造的一些相关特征，这些特征是成功预测的基本动因。“如果我们能够识别并消除这些重要功能周围的噪音，我们就可以使用它们来提高网络的性能。”

马尔克斯和他的同事设计的方法是对以前可用于rRNN开发和分析的工具的重要补充。未来，他们的方法可以为更有效的预测神经网络设计提供信息，并减少所涉及的节点和连接的数量。他们的技术还可以使rRNN更加透明，允许用户获得系统如何得出给定结论的关键见解。

“我们专注于神经形态硬件，”马克斯说。“因此，我们接下来的步骤将与这个随机环路网络的物理实现相关。我们的最终目标是设计一台受大脑启发的计算机，能够非常有效地解决人工智能问题：超快和低能耗。”

标签：