系统为物联网设备带来深度学习

2022年1月5日整理发布：Advance可以在家用电器上实现人工智能，同时提高数据安全性和能源效率。深度学习无处不在。人工智能的这一分支管理您的社交媒体并为您的Google搜索结果提供服务。很快，深度学习也可以检查您的生命体征或设置您的恒温器。麻省理工学院的研究人员开发了一种系统，可以将深度学习神经网络带到新的——更小——的地方，比如可穿戴医疗设备、家用电器中的微型计算机芯片，以及构成“物联网”的2500亿个其他物体(物联网)。

该系统名为MCUNet，设计紧凑的神经网络，尽管内存和处理能力有限，但可为物联网设备上的深度学习提供前所未有的速度和准确性。该技术可以促进物联网领域的扩展，同时节省能源并提高数据安全性。

这项研究将在下个月的神经信息处理系统会议上发表。第一作者是麻省理工学院电气工程与计算机科学系宋涵实验室的博士生季琳。合著者包括MIT的Han和YujunLin，MIT和国立大学的Wei-MingChen，以及MIT-IBMWatsonAILab的JohnCohn和ChuangGan。

物联网

物联网诞生于1980年代初。卡内基梅隆大学的研究生，包括MikeKazar'78，将一台可乐可乐机连接到互联网。这个团体的动机很简单：懒惰。他们想在从办公室跋涉购买之前使用他们的计算机确认机器是否有库存。它是世界上第一个连接互联网的设备。“这几乎被视为笑话的妙语，”现在是微软工程师的卡扎尔说。“没有人期望互联网上有数十亿台设备。”

从那台可乐机开始，日常物品越来越多地联网到不断增长的物联网中。这包括从可穿戴式心脏监测器到智能冰箱，当你的牛奶不足时，它会告诉你一切。物联网设备通常在微控制器上运行——没有操作系统的简单计算机芯片，处理能力极低，内存不到典型智能手机的千分之一。因此，像深度学习这样的模式识别任务很难在IoT设备上本地运行。对于复杂的分析，物联网收集的数据通常会发送到云端，使其容易受到黑客攻击。

“我们如何直接在这些微型设备上部署神经网络?这是一个非常热门的新研究领域，”韩说。“像谷歌和ARM这样的公司都在朝这个方向努力。”韩也是。

通过MCUNet，Han的团队共同设计了“微型深度学习”所需的两个组件——神经网络在微控制器上的运行。其中一个组件是TinyEngine，它是一种推理引擎，用于指导资源管理，类似于操作系统。TinyEngine经过优化以运行特定的神经网络结构，该结构由MCUNet的另一个组件选择：TinyNAS，一种神经架构搜索算法。

系统算法协同设计

为微控制器设计深度网络并不容易。现有的神经架构搜索技术从基于预定义模板的大量可能的网络结构开始，然后逐渐找到具有高精度和低成本的网络结构。虽然该方法有效，但它并不是最有效的。“它可以很好地用于GPU或智能手机，”林说。“但是很难将这些技术直接应用于微型微控制器，因为它们太小了。”

因此，Lin开发了TinyNAS，这是一种创建自定义大小网络的神经架构搜索方法。“我们有很多具有不同功率容量和不同内存大小的微控制器，”Lin说。“所以我们开发了算法[TinyNAS]来优化不同微控制器的搜索空间。”TinyNAS的定制特性意味着它可以为给定的微控制器生成具有最佳性能的紧凑型神经网络——没有不必要的参数。“然后我们将最终的、高效的模型交付给微控制器，”林说。

为了运行那个微型神经网络，微控制器还需要一个精益推理引擎。一个典型的推理引擎带有一些自重——它可能很少运行的任务的指令。额外的代码对笔记本电脑或智能手机没有问题，但它很容易压倒微控制器。“它没有片外存储器，也没有磁盘，”Han说。“所有东西放在一起只是一兆字节的闪存，所以我们必须非常小心地管理这么小的资源。”提示TinyEngine。

研究人员与TinyNAS一起开发了他们的推理引擎。TinyEngine生成运行TinyNAS定制神经网络所需的基本代码。任何无谓的代码都会被丢弃，从而减少编译时间。“我们只保留我们需要的东西，”韩说。“而且由于我们设计了神经网络，我们确切地知道我们需要什么。这就是系统算法协同设计的优势。”在小组对TinyEngine的测试中，编译后的二进制代码的大小比Google和ARM的可比微控制器推理引擎小1.9到5倍。TinyEngine还包含减少运行时间的创新，包括就地深度卷积，可将峰值内存使用量减少近一半。在对TinyNAS和TinyEngine进行协同设计后，Han的团队对MCUNet进行了测试。

MCUNet的第一个挑战是图像分类。研究人员使用ImageNet数据库用标记图像训练系统，然后测试其对新图像进行分类的能力。在他们测试的商用微控制器上，MCUNet成功地对70.7%的新图像进行了分类——之前最先进的神经网络和推理引擎组合的准确率仅为54%。“即使是1%的改进也被认为是显着的，”林说。“所以这是微控制器设置的巨大飞跃。”

该团队在其他三个微控制器的ImageNet测试中发现了类似的结果。在速度和准确性方面，MCUNet击败了音频和视觉“唤醒词”任务的竞争，在这种任务中，用户使用语音提示(想想：“嘿，Siri”)或只需进入一个房间就可以启动与计算机的交互。实验突出了MCUNet对众多应用的适应性。

“潜力巨大”

有希望的测试结果让韩寒希望它成为微控制器的新行业标准。“它具有巨大的潜力，”他说。

这一进展“将深度神经网络设计的前沿进一步扩展到小型节能微控制器的计算领域，”加州大学伯克利分校的计算机科学家KurtKeutzer说，他没有参与这项工作。他补充说，MCUNet可以“为最简单的厨房电器带来智能计算机视觉功能，或者实现更智能的运动传感器。”

MCUNet还可以使物联网设备更加安全。“一个关键优势是保护隐私，”韩说。“您不需要将数据传输到云端。”

在本地分析数据可降低个人信息被盗的风险——包括个人健康数据。Han设想带有MCUNet的智能手表不仅能感知用户的心跳、血压和氧气水平，还能分析并帮助他们理解这些信息。MCUNet还可以为互联网访问受限的车辆和农村地区的物联网设备带来深度学习。

此外，MCUNet的超薄计算足迹转化为超薄的碳足迹。“我们的大梦想是绿色人工智能，”韩说，并补充说，训练一个大型神经网络可以燃烧相当于五辆汽车一生排放量的碳。微控制器上的MCUNet只需要一小部分能量。“我们的最终目标是以更少的计算资源、更少的人力资源和更少的数据实现高效、微型的人工智能，”Han说。

标签：