DeepMind 再发 Nature，图神经网络解决物理难题

编辑 | 丛  末

DeepMind 作为《自然》期刊的大户，最近在《自然·物理》发表了一篇论文，讲述了如何利用图神经网络研究玻璃态变化的问题。

玻璃，是我们常见却非常陌生的东西。尽管人类制造玻璃已经有2000多年的历史，但却对其物理性质了解不足。

在电子显微镜下面，一块我们平常看来光滑的玻璃，却看起来杂乱无章。原因在于，玻璃是从液态经过迅速冷却后变成的固体；我们知道液体的分子是杂乱分布的，因为液态分子没有足够的时间形成格子状的晶体，于是玻璃虽为固体，却仍冻结在液态的分子排布状态。

然而，粒子如何根据距离相互影响，以及这种影响如何随时间变化，依旧是玻璃动力学中一个尚未解决的核心问题。

在前几天刚刚去世诺贝尔奖得主菲利普 · 安德森（Philip W. Anderson）曾指出：

固体理论中最深奥、最有趣的未解决的问题可能是关于玻璃的性质和玻璃转变的理论。

而DeepMind发表的这篇文章称其研究了一款人工智能系统（本质上是图神经网络），可以预测玻璃分子在液态和固态之间的运动变化过程。 

DeepMind发言人表示：“我们在「玻璃动力学」（Glassy Dynamics）建模过程中所验证的心得和技术，可以应用到其他科学的核心问题中，也能够帮助揭开周围世界新事物的神秘面纱。”

1

模拟玻璃的实际意义

玻璃相变（glass transition）在自然界是一种普遍存在的现象，不仅仅表现在窗（硅）玻璃中。在其他地方，例如在熨烫衣服时聚合物受热后，在熨斗重力作用下，会发生定向移动。一些胶体悬浮液（如冰淇淋），颗粒状材料（如沙堆），生物系统（细胞迁移）和社会行为（交通堵塞）都会发生类似的玻璃相变现象。

这本质上就是，在局部约束下，某个元素抑制了其他元素运动的系统变化。我们称这种变化为干扰相变（jamming transition）。

这种变化比较复杂，且相关性较大，以异质的方式在空间中进行传播，是一种大规模、集体的重新排列。

玻璃是这种复杂系统最典型的代表，因此也是最好的研究对象。

事实上，玻璃确实还比较神秘——尽管人类制造硅玻璃已经有几千年的历史，但是对于其背后的物理联系仍然琢磨不透，例如冷却过程中为什么年度会上亿倍地增长，这个问题如今还是未知。

另一方面，玻璃也是能够很好将机器学习和物理问题结合的一个点，因为它比较容易模拟，也比较容易输入到基于样本的机器学习模型中。而且，最为关键的是，我们可以去分析模型本身，从而能够了解玻璃的本质。

2

用图神经网络建模玻璃动力学

玻璃的建模，可以由一系列具有短程排斥势（Repulsive Potential）的粒子来模拟。这种势（更准确说应该是电势）会随粒子之间距离的增大而缩小，大到一定程度就可以认为等于零。于是可以认为只有相互靠近的粒子之间才有相互作用。

于是我们可以把这种粒子之间的关联性和局部性，建模成图结构的网络，然后用图神经网络的技术来预测玻璃的物理性质。

在DeepMind的这篇文章中，他们先根据三维输入创建一个图，其中用节点代表粒子，用边代表粒子之间的相互作用，并给它们之间的相对距离打上标签。

然后将图作为输入来训练图神经网络。如下图所示，对每个节点进行预测，并从中找到一个实值。      

模型框架：a）在三维输入中，将相对距离小于2的节点连接起来，从而形成一个图形。b）图网络根据之前的嵌入和相邻节点的嵌入更新边缘，然后根据更新之后的边缘更新节点。c）整个图神经网络由一个编码器、一个解码器、几个核心应用组成。d）从编码器到更新节点的二维图示。

预测得到实值会用在计算机模拟中来观察玻璃体，从而获得的粒子移动规律。值得一提的是，这里使用的是平均初始速度和平均移动距离。

从上图可以看出，此网络架构是一种典型的图网络架构，里面包含多个神经网络。据DeepMind介绍，模型在具体运行过程中，先使用编码器网络将节点和边缘标签嵌入到高维向量空间中，然后对嵌入节点和边缘标签进行迭代更新：在所有的边缘使用同一网络并行更新之后，节点也根据其相邻的边缘嵌入和之前的嵌入进行更新。通常上述过程重复七次，便能够让局部信息在整个图网络中传播。

最后，使用解码器网络提取每个粒子的移动规律，其中解码器网络具有所有必须的属性：固有的关联性，图节点和边的排列下的不变性，以局部操作的组合方式更新嵌入。这里解码器的参数，是用随机梯度下降法得到的。

DeepMind还通过构建几个数据集来验证他们的模型，这些数据集对应于不同温度下、不同时间范围内的流动性预测。他们发现，在选择的时间尺度上，粒子会碰撞数千次，所以网络必须找到一种恰当的方法来刻画长期的动态过程。

3

将网络预测与物理联系起来

将图网络应用到模拟的三维玻璃上后，作者发现，这些图网络的表现远远优于现有的模型，包括从标准的受物理启发的基准，到最先进的机器学习模型。       

图3：GNN 预测的移动率（颜色从最不活跃的蓝色到最活跃的红色）与三维盒子切片中最活跃的模拟粒子（点）的位置的比较。红色区域和点越对齐，表示性能越好。左边的平面对应着短时间尺度的预测，画面显示其网络实现了非常好的性能；右边的平面对应着比左边平面长28000倍的时间尺度，玻璃中的粒子开始扩展。动力学是异质的，粒子运动是局部相关的，但在宏观尺度上是异质的，然而该网络依旧能够做出与真实值模拟一致的预测。

通过比较预测的移动率（图3中的颜色梯度）和真实值模拟，他们发现，在短时间内，二者的一致性非常好，并且能够很好地匹配玻璃的松弛时间。

看着在松弛时间（真实玻璃的松弛时间为几千年）的时间尺度上的玻璃，就像在看着1皮秒（10的负12次方秒）上的液体：当粒子碰撞得足以开始丢失其初始位置的信息时，松弛时间会变得不那么精确。

在数字上，预测和模拟的真实值之间的关联性在非常短的时间尺度上为96%，而在玻璃的松弛时间上依旧高达64%（与此前最先进的模型相比，提高了40%）。

然而，作者并不只是简单地对玻璃建模，更重要的是理解其本质。因此，他们探索了哪些因素决定着模型是否成功，从而推断底层系统中哪些属性比较重要。

他们通过设计一个利用图网络特定架构的实验对此进行了研究。回想一下，反复应用边缘和节点的更新来定义任意给定的粒子周围的粒子壳：第一个壳由与“标记”粒子有一步之遥的所有粒子组成，第二个壳由与第一个壳由一步之遥的所有粒子组成，以此类推（见图2c 中不同的蓝色阴影部分）。

当模拟到第 n 个壳时，通过计算网络对中心粒子做出的预测的敏感性，能够计算出网络用来提取预测的区域有多大，而预测能够提供一个对物理系统中粒子相互影响的距离的估计。

图4：消融实验。在左边的实验中，一个中心粒子周围的第一个壳以外的所有粒子都被移除。在正确的实验中，通过增加第一个和第二个粒子壳之间的距离来扰动输入。

作者发现，在预测不久后或液相中将会发生什么时，第三个壳的剧烈变化（例如图4左中，所有的粒子都被移除）并没有改变网络对标记的粒子的预测。另一方面，在低温环境或对很久以后发生的事情进行预测时，在玻璃开始松弛后，即便是第五个壳的微小扰动（图4左），就会影响对标记的粒子的预测。

这些发现与关联长度会随着临近玻璃转变而增加的物理图像一致，其中关联长度计算的是粒子相互影响的距离。

关联长度的定义和研究，是物理学中相变研究的基石，也是研究玻璃时依旧存在的一个争论点。虽然这种“机器学到的”关联长度无法发直接转化为物理上可计算的量，但是它提供了令人信服的证据来证明：在临近玻璃转变过程中，系统中的空间关联会不断增加，而Deepmind 的这一网络，已经学会了提取这些关联。

4

结语

结果表明，图神经网络利用隐藏在粒子周围的结构，构建了一个强大的工具预测玻璃态系统的长期动态。

Deepmind 表示，希望他们的这项技术能够对预测其他涉及到玻璃的物理量有所帮助，并期待它能够给玻璃态系统理论学家带来更多的视角。对此，他们也正在开源模型和经过训练的网络来推动这一进展。

一般而言，图网络作为一个通用的工具，正在被应用到许多包括多体交互在内的其他物理系统、包括交通、人群模拟在内的环境以及宇宙学中。

这些应用中使用的网络分析方法，也给其他领域带来了更深的理解：图网络不仅能够给帮助研究者更好地预测范围内的系统，还能够表示对系统建模至关重要的物理关联。在这些工作中，玻璃态材料中的局部粒子之间的相互作用，一直都在随时间变化。

该工作的作者认为，他们的这一结果会促进研究者在将机器学习应用到物理科学时，采用结构化模型，而在他们的示例中，模型拥有分析神经网络的内部工作原理的能力，也体现了模型能够找到了一个与难以找到的物理量相关联的量。这就表明了，机器学习不仅可以用来做定量预测，还能够用来定性地理解物理系统。

这或许意味着，机器学习系统可能能够帮助研究人员推导出基本的物理理论，最终帮助扩展而非取代人类的理解。

via https://www.deepmind.com/blog/article/Towards-understanding-glasses-with-graph-neural-networks

直播预告……