探索强化学习以控制核聚变反应

卡内基梅隆大学计算机科学学院 (SCS) 的一名学生使用强化学习来帮助控制核聚变反应，这是利用核聚变产生的巨大能量作为清洁、丰富能源的重要一步。

机器学习系的博士生 Ian Char在圣地亚哥的 DIII-D 国家聚变设施中使用强化学习来控制托卡马克机器的氢等离子体。他是第一个在广受欢迎的机器上进行实验的 CMU 研究员，第一个使用强化学习来影响托卡马克等离子体旋转的人，以及第一个在最大的运行托卡马克机器上尝试强化学习的人. Char 与普林斯顿等离子体物理实验室 (PPPL) 合作完成了这项工作。

“强化学习影响了等离子体的压力及其旋转，”Char 说。“这真的是我们在这里的第一次。”

当氢核粉碎或融合在一起时，就会发生核聚变。这个过程会释放大量能量，但要保持在将电力接入电网所需的水平仍然具有挑战性。氢核只会在极高的温度和压力下融合，例如在太阳中心发现的那些自然发生核聚变的地方。物理学家也在热核武器中实现了核聚变，但这些都不能用作能源。

另一种产生核聚变的方法是使用磁场在所需的温度和压力下包含氢等离子体，以融合核。这个过程发生在托卡马克(tokamak)内部——这是一种大型机器，它使用磁场将氢等离子体限制在一个称为环面的甜甜圈形状中。包含等离子体并保持其形状需要对磁场和额外氢粒子的爆炸进行数百次显微操作。

世界上很少有大型托卡马克可以促进这种类型的研究，而且对它们进行实验的时间是令人垂涎的。DIII-D 国家核聚变设施是唯一在运营的设施。

谷歌母公司 Alphabet 的人工智能子公司 DeepMind 率先使用强化学习来控制包含聚变反应的磁场。实验室成功地保持了等离子体的稳定并将其雕刻成不同的形状。DeepMind 在瑞士洛桑对可变配置托卡马克 (TCV) 进行了实验，并于 2 月在《自然》杂志上发表了其研究结果。

Char 是第一个在 DIII-D 进行类似强化学习实验的人。强化学习使用过去尝试的数据来实现最佳结果。在 Char 的实验中，强化学习算法检查了历史和实时数据，以改变和控制等离子体的旋转速度，以寻求最佳稳定性。

当额外的氢粒子射入等离子体甜甜圈时，它会旋转。改变这些喷射粒子的速度可以潜在地稳定等离子体并使其更容易控制。Char 在他的实验中使用了两种学习算法。其中之一，他使用从托卡马克收集多年的数据来训练它了解等离子体的反应。第二种算法观察等离子体的状况，然后决定以什么速率和方向射入额外的粒子以影响其速度。

“短期目标是为物理学家提供导致这种差异旋转的工具，以便他们可以进行实验以使这种等离子体更加稳定，”机器人研究所的研究教授和 Char 的博士 Jeff Schneider 说。顾问。“从长远来看，这项工作展示了使用强化学习来控制等离子体状态的其他部分并最终达到足够长的温度和压力以拥有发电厂的路径。这意味着每个人都可以获得无限的清洁能源。”

Char 去年将该项目推销给 DIII-D，这是由通用原子公司管理的能源部科学用户设施办公室，并于 6 月 28 日获得了三个小时的时间来运行他的算法。坐在控制室里庞大的 DIII-D 设施被操作员包围，Char 加载了他的算法。

Char 展示了他的算法可以控制等离子体的旋转速度。这是第一次使用强化学习来控制旋转。在控制会话期间出现了一些问题，需要进行更多测试。Char 于 8 月底回到 DIII-D 继续他的工作。

普林斯顿大学机械与航空航天工程系副教授、Char 在 PPPL 的合作者之一 Egemen Kolemen 说：“Ian 表现出巨大的能力来消化聚变设备特定的控制问题和强调它的等离子体物理学。” “将他在 CMU 学到的理论应用于真正的聚变问题并在国家聚变设施上进行实验是一项了不起的成就。这项工作通常需要多年的等离子体物理和工程培训。”

标签：