在这一点上，现在是时候再退一步，评估迄今为止引入的不同方法。对于深度学习应用，我们可以广泛区分三种方法：常规可微物理（DP）训练，半逆梯度（HIGs）训练以及使用尺度不变的物理更新（SIPs）。不幸的是，我们不能简单地放弃其中两种方法，而将所有未来努力都集中在一种方法上。然而，讨论优缺点可以揭示物理基础深度学习的一些基本方面。

23.1 解决缩放问题

首先，改进更新的核心动机之一是解决学习问题的规模扩展问题。这并不是一个全新的问题：已经提出了许多深度学习算法来解决训练神经网络时的这些问题。然而，将神经网络与物理模拟相结合带来了新的挑战，同时也提供了解决这个问题的新角度。从负面方面来看，我们有来自PDE模型的额外非线性算子。从积极的方面来看，这些算子在学习过程中通常没有自由参数，因此可以用不同的定制方法处理。

这正是HIGs和SIPs的作用所在：它们不像其他神经网络一样处理物理模拟（这是DP方法），而是展示了使用定制的逆求解器（SIPs）或定制的数值逆转（HIGs）可以实现多大程度的训练尺度不变性。

23.2 计算资源

这两种情况通常导致更复杂和资源密集的训练。然而，假设在训练完成后我们可以多次重复使用已训练好的模型，在许多应用领域中，这样做往往能够迅速收回成本：尽管与其他训练方法获得的运行时相同，经过训练的神经网络通常能够显著提高准确性。使用常规的Adam和基于DP的训练方法很难达到类似的准确性水平。

当这样的训练好的神经网络被用作反问题的代理模型时，它可能会被大量执行，而提高的准确性可以在后续阶段节省大量的计算资源。一个很好的潜在例子是流体中浸泡体的阻力减小的形状优化 {cite}chen2021numerical。

23.3 总结

总之，本章展示了反演的重要性。一个重要的启示是，在涉及到偏微分方程时，神经网络训练的常规梯度并不是最佳选择。在这些情况下，我们可以获得比常规梯度提供的局部一阶信息更好的优化指导信息。

即使仅对物理模拟组件进行反演（如SIPs），也可以大大改善学习过程。自定义反演求解器允许我们在训练中使用更高阶的信息。

✅ 赞成 SIP:

对物理模拟提供非常准确的“梯度”信息。
通常可以显著改进收敛性和模型性能。

❌ 反对 SIP:

需要逆模拟器 (至少是局部的)。
仅使物理组件具有尺度不变性。

另一方面，HIGs回溯到雅可比形式的一阶信息。它们展示了即使没有任何高阶项，反演也可以有多么有用。同时，它们利用了神经网络和物理的组合反演，考虑了一个小批量样本的所有样本，计算出最优的一阶方向。

✅ 赞成 HIG:

针对物理模型和神经网络的扩展问题进行了强健处理。
改善了收敛性和模型性能。

❌ 反对 HIG:

需要对可能很大的雅可比矩阵进行奇异值分解（SVD）。
这在运行时间和内存方面可能代价高昂。

在这两种情况下，由此产生的神经网络可以获得我们通过更简单的差分隐私或监督方法训练更长时间无法获得的性能。因此，如果我们计划经常评估这些模型，例如在应用中使用它们，这种增加的一次性成本将在长期内得到回报。

这一章对基于物理的神经网络的改进学习方法进行了总结。这显然是一个活跃的研究领域，还有很多新方法的空间，但这里的算法已经表明了为物理问题量身定制的学习算法的潜力。这也结束了对数值模拟作为深度学习组件的关注。在下一章中，我们将转而关注一个不同的统计视角，即不确定性的包含。