人工智能辅助的超分辨率宇宙学模拟

摘要

传统“星系形成”的宇宙学模拟受到了有限计算资源的限制，而这篇论文试图借助深度学习来解决这个问题。具体来说，通过生成 512 倍数以上的粒子并预测它们从初始位置的位移来提高模拟的分辨率。该方法的结果可以被视为是模拟实现的本身，而不是对其密度场的投影。由于生成过程是随机的，使得我们能够对大尺度环境下的小尺度模式进行采样。值得一提的是，该模型仅从16 对低分辨率 - 高分辨率的模拟中学习，就能够生成超分辨率的模拟。将模型进一步部署在比训练模拟框大 1000 倍的模拟中，该实验同样表明该模型可以快速生成高分辨率的模拟。由此，我们可以得出结论，人工智能辅助有可能彻底改变大型宇宙学体积中小规模星系形成物理学的建模。

参考：

论文：《AI-assisted superresolution cosmological simulations》

视频：【沈向洋带你读论文】人工智能辅助的超分辨率宇宙学模拟【StyleGAN2】【天文宇宙学】【超分辨率】

AI 天文在研究什么

有大量的天文观测数据，成指数增长，他也有自己的摩尔定律，已经增长到必须使用深度学习方法来处理的程度了。

从分论上来看，大概有：

（1）天文学图像

（2）光变曲线，就是光强随时间变化的这么一个函数。

可以用时间序列分析的各种，比如说 Neural ODE 和 Neural SDE 的方法来解决

（3）天文学光谱，光强随波长这么一个分布

可以用PCA 或者是非负矩阵分解，然后再用神经网络的方法来处理。

这些海量的数据使 AI for Astronomy 变得非常的 promising。有可能在将来从这些数据中发现现在未知的一些物理规律以及天文现象。

论文中的方法

利用超分辨率的方法来超分辨率化数字模拟。

需要考虑的几个点：

（1）建模

由于我们宇宙一开始是非常均匀的，所以我们可以设置初始条件，把它放在一个格点上。然后从这个每个格点出发，指向他们现在所在的位置，然后把这些位移排在格点上,它就是一个矢量场。

如果我们分开来看，每一个分量的话，就可以把它们分别列为，三维图像的三个channel，就像RGB一样。然后这样做有一个好处就是，它对于每个粒子这样做之后，我们确保了宇宙中的物质的质量是守恒的，因为我们的粒子不会变多，也不会变少。

其次我们对于结果，可以同样把它处理为一个simulation的结果，就是说它与正常的 simulation 的结果看上去没有任何的不同。在此基础上，我们还可以加入速度的信息，比如说除了位移之外，我们还可以预测每个粒子的速度，从而得到整个相空间的物质通道信息。

（2）对称性原理

另外，宇宙在大尺度上是平移不变和旋转不变的，也就是对称性原理。

基于可以对立方体和正八面体可以做48种操作而不改变它本身的特性，在数据增强模块上，对input /output data 同时做48种操作之一。

其次还有这种平移不变性，这种传统的 CNN 其实已经本身是平移不变的，但是传统的 padding 的办法，比如说 zero padding 会破坏这种平移不变性。为了保护这种平移不变性引入这种周期性的 padding 的办法。

（3）一对多映射

超分辨率是一个映射，而我们需要的映射不是个一对一的映射，需要它是一个一对多的映射。因为我们的高分辨率模拟中它的初始条件包含了低分辨率模拟中不存在的一些信息。这些高频的信息其实是随机的，而它有无穷多种可能性，所以这种映射其实是从一到无穷多的一个映射。

网络结构

具体模型结合了stylegan2的架构。

StyleGAN2本身是用来做图像合成的,不是用来做超分辨率的，作者利用其中的一部分，然后把低分辨率输入作为 StyleGaN2 Generator 的输入，经过层层的上采样，然后就形成了超分辨率的这么一个结果，其中最重要的就是左边这个要不停的加入 noise，来形成更精细的结构。而 discriminator 的架构就是比较经典的ResNet。

训练数据采用了 16 对小体积的数值模拟，其中我们的低分辨率和高分辨率模拟之间，它的分辨率差了 512 倍。

实验效果

一些专有定义

展现实验结果前先介绍文中经常出现的z的定义。

李寅老师的回答：z通常表示红移（redshift），过去天体所发射光子的波长随着宇宙的膨胀而变长，因在可见光波段表现为变红而被称为红移。因此红移越大表明当时的宇宙越小，在越久远的过去。宇宙的大小相对今天大小的比率称为scale factor，用符号a表示，也就是a = 宇宙某时刻大小 / 宇宙现在的大小。a与z的关系是a = 1 / (1+z)，也就是z=2时的宇宙是今天的1/3大小。

猜猜猜

下图中有三张图片是生成的，只有一张是真的，猜猜哪个是真的？

（答案是A）

功率谱比较

功率谱其实是傅里叶空间的两点关联函数，它刻画了不同尺度上物质的密度分布的一个涨落大小。我们可以看到在小尺度上面,超分别率和高分别率混合得非常好。

有趣的发现

将超分别率模型应用到更大的体积中，体积是训练模拟体积的1000倍，结果出现了训练数据中不存在的暗物质晕。

宇宙线模拟综述推荐

Large-scale dark matter simulations

未来方向

未来方向有：
a) 尝试新的生成模型如diffusion models；
b) 更小尺度的超分辨率，需要考虑星系尺度的物理过程；
c) 时间上的连续性问题；
d) 取长补短地与数值模拟模拟（例如作者刚刚开源的基于JAX的可微模拟pmwd）结合，让快速有效的数值算法来处理长程的引力相互作用，用神经网络来补充短程相互作用。混合模型使用伴随法（adjoint method）训练，以探索星系形成过程的隐变量空间（latent space）。