MIT CSAIL的AI可以使用触摸显示对象
麻省理工学院计算机科学与人工智能实验室的研究人员称，能够通过触摸学习的机器人已经触手可及。真。在下周将在加利福尼亚州长滩举行的计算机视觉和模式识别会议上发表的一篇新发表的论文中，他们描述了一种人工智能系统，能够通过触觉信号生成物体的视觉表现，并预测来自片段的触觉。视觉数据。
“通过观察现场，我们的模型可以想象触摸平坦表面或锋利边缘的感觉，”CSAIL博士学生和研究的主要作者Yunzhu Li说道，他与麻省理工学院教授Russ Tedrake和Antonio Torralba一起撰写了这篇论文。麻省理工学院博士后朱俊妍。“通过盲目地触摸，我们的[AI]模型可以纯粹通过触觉来预测与环境的相互作用。将这两种感官结合在一起可以增强机器人的能力并减少我们在涉及操纵和抓取物体的任务时可能需要的数据。“
该团队的系统采用GANs - 两部分神经网络，包括生成样本的发生器和试图区分生成的样本和真实样本的鉴别器 - 根据触觉数据拼凑视觉图像。来自VisGel的触觉样本，包含超过300万个视觉/触觉数据对的语料库，包括近200个物体(如工具，织物和家用产品)的12,000个视频片段，它突出了接触位置的形状和材料，回头看参考图像来“想象”这种互动。
例如，给定鞋子上的触觉数据，模型可以确定鞋子最可能被触摸的位置。
参考图像有助于编码关于对象和环境的细节，使机器学习模型能够自我改进。部署在带有触觉GelSight传感器(由麻省理工学院另一组人员设计)的Kuka机器人手臂上，它将当前帧与参考图像进行比较，以识别触摸的位置和比例。
研究人员指出，目前的数据集只有受控环境中的相互作用的例子，他们说一些细节，如物体的颜色和柔软度，仍然难以推断。尽管如此，他们仍然表示，他们的方法可以为制造环境中更加无缝的人机器人集成奠定基础，尤其是缺乏视觉数据的任务，例如当灯关闭或工人必须盲目地进入容器时。
“这是第一种能够令人信服地在视觉和触摸信号之间进行转换的方法，”加州大学伯克利分校的博士后研究员安德鲁欧文斯说。“像这样的方法有可能对机器人非常有用，你需要回答诸如'这个对象是硬还是软?'这样的问题?或者'如果我用手柄举起这个杯子，我的握力有多好?'这是一个非常具有挑战性的问题，因为信号是如此不同，这个模型已经证明了它的巨大能力。“