PNAS：基于机器学习从湍流结构预测统计数据：以循环流动模式作为二维湍流的基础

JAX-CFD 的原始变量公式允许存在恒定的背景垂直速度。上文描述的基本“Kolmogorov”流动中，但原则上该问题允许任意一均匀的跨流速度，一旦设定后，其在时间上保持恒定。添加这一效应将改变周期轨道——其中许多轨道可能通过同伦方法回到v0=0——并且还可能在鞍节点分岔中引入与原始配置无关的新解。在此，我们发现添加这一效应总体上是积极的，因为它可以防止优化器陷入浅局部极小值——这在直接使用JAX-CFD的光谱涡量公式进行搜索时是一个常见问题。最近在一种变分公式中尝试寻找周期轨道时也有类似的观察，其中使用了非散度速度场作为初始猜测。在基于梯度的优化后，使用JAX-CFD的光谱版本进行UPO的牛顿收敛时，不可能存在恒定的背景流，因为我们通过Δψ=-ω解诱导速度，假设流函数ψ是周期性的，由此得到u和v。

对于短周期（T≈10，Re=40），弱背景垂直速度对UPO的影响较小，光谱牛顿求解能够在几步内收敛到附近的v0 = 0解。对于较长周期，弱垂直流的影响更大，但通常可以通过附加的优化过程有效地消除，这一过程会对垂直速度进行惩罚：

在这种情况下，我们设置μ = 10³并使用较小的学习率（通常为η = 10^-2）来小心地将近闭合回路变形为垂直速度接近于零的状态。

4.1状态密度在Re = 40时的表现

我们首先在研究较多的Kolmogorov流动问题中展示我们方法的威力，雷诺数为Re = 40。尽管许多前人已经研究过这一配置，但我们仍然对其状态密度随周期ρ(T)的变化知之甚少，也未能识别出任何局部高耗散的不稳定周期轨道（UPOs）。受此启发，我们使用损失函数 [4a] 对特定周期的解进行了全面搜索。鉴于周期轨道理论中“素周期”（prime cycles）的重要性，我们首先聚焦于短周期。我们在该范围内以 0.5 为步长递增目标，并在每个步长处进行 50 次优化计算。每次计算均由湍流吸引子的随机快照初始化。此前已知在此范围内存在四个解，周期为T∈ {2.83, 2.92, 5.38, 6.72}。

我们还使用损失函数 [4b] 初始化了对高耗散解的独立搜索。我们进行了三次计算，搜索平均耗散率高于阈值的解。在变量v0公式中，大量解被收敛，尽管在目标T*上成功率不一。找到这些常见解是预期之内的，但我们也发现了许多之前未知的大量解。事实上，对于T < 8的情况，我们收敛了38个独特的解，其中包括许多以前搜索方法无法访问的高耗散状态。

值得注意的是，这些短周期解几乎涵盖了整体流动中产生和耗散事件的全部范围（见图1右侧面板）。实际缺失的是低耗散事件——这些事件与较慢的动力学相关，UPO通常具有较长的周期。为找到这些状态，我们还搜索了目标周期为T*∈{12.5, 15, 17.5, 20}的解。通常情况下，优化器在面对这些较长周期的轨道时表现困难，因为从随机初始条件开始，f^T(u)很可能在解流形上离得很远，梯度信息并不特别有用。然而，我们确实获得了几个较长周期的解，它们全都是低耗散的。这部分工作将从更仔细的初始条件选择方法中获益，以确保f^T(u)在解流形上“接近”，而不必依赖近似重现。

图1. （左图）所有在 Re=40时周期 T<8 的收敛轨道的耗散与周期的关系（平均耗散率以白色方框表示）。参考文献16中列出的四个已知解以蓝色标识，平均耗散率以圆圈表示，周期为 T∈{2.83,2.92,5.38,6.72}（周期为 T=7.16 的解也可能在参考文献27中被发现）。用十字标识的解稍后将在图2中展示。（右图）在 Re=40 时所有收敛解的能量产生与耗散的关系，包括左图未显示的一些较长周期的轨道（所有收敛的UPOs在附录中列出）。湍流状态的概率密度（从长时间计算运行 t_long=2.5×10⁵ 得出）以灰色显示。等高线级数以对数间隔，最小值为 10⁻⁶。所有数值均以层流值 D_l=Re/(2n²) 归一化。

我们在图2中检查了一些𝑅𝑒=40的不稳定周期轨道（UPOs），并在轨道上的四个点报告了面外涡量的快照。低耗散解（图中显示了𝑇=2.83的UPO）都具有一个共同的结构，即涡旋结构位于一对倾斜的涡量条纹之上（这让人联想到该配置中的第一个非平凡平衡解）。在𝑇=2.83的情况下，周期对应于右侧面板中一个椭圆形涡旋块的完整旋转；周期为𝑇=5.38的轨道类似，但涉及的是同号涡旋对的旋转。

图2. 面外涡量在𝑅𝑒=40下的三个不稳定周期轨道（UPOs）上以时间等间隔提取的四个点处的快照。（顶部）在𝑅𝑒=40时最短的轨道——已知的𝑇=2.83解，平均耗散率⟨𝐷/𝐷𝑙⟩=0.095。（中间）一个新的高耗散UPO，周期为𝑇=2.90，平均耗散率⟨𝐷/𝐷𝑙⟩=0.246。（底部）一个新的高耗散UPO，周期为𝑇=3.27，平均耗散率⟨𝐷/𝐷𝑙⟩=0.285。在所有情况下，等高线的范围为−10到10。这些解都在图1中用十字标识。

相比之下，高耗散结构表现出更加多样化的动力学。例如，图2中报告的两个“爆发”UPO之一具有晶体状结构，其周期内保持着四个大振幅的涡核。图2中的另一个高耗散解则表现为一个强大的偶极子结构，从左到右穿过域移动。不出所料，许多新解具有比先前记录的解更高维度的不稳定流形（详见附录中的完整细节）。

4.2 雷诺数Re=100时的周期轨道

我们现在将注意力转向雷诺数Re=100下的强湍流情况，此前通过任何方法仅获得了少数几个解。在该Re值下先前获得的九个解均为短周期，T<5。我们在此报告的大多数解都是使用基本损失函数[3]计算的，未添加其他物理条件（例如，方程4a和4b中包含的内容）。

我们初始化了大量计算，起始周期从T0∈{1,2,3,4,5}中选择，另外也对T0=2.5进行了计算，这是受T0=2和T0=3计算成功率的启发。当一批大约100次的猜测未能产生新的、未包含在我们已收敛的UPO集 合中的解时，我们停止了这些计算。我们还使用损失函数[4b]进行了高耗散搜索，寻找平均耗散率⟨D/Dl⟩≥0.03的周期轨道，但发现这远不如在Re=40时的等效计算有效。相比之下，标准损失函数[3]无需扩展便返回了广泛的周期轨道，而不是相同的一组解。总体而言，我们观察到解收敛的成功率在5%到15%之间，取决于起始周期的选择。需要强调的是，过程中的起点是来自湍流计算的随机快照，这与其他方法形成对比，后者的成功率接近于零，即使猜测是经过更仔细构建的。

到目前为止，我们的计算在Re=100时共产生了151个独特的UPO，这些状态总结在图3中（完整列表见附录）。在这里，我们看到大多数UPO在相空间中表现出高度的局部化，几乎都以二维投影中的小闭合环出现。当从动能E的角度可视化时，这些状态表现得更加局部化（见附录，图S4），并且为了全面覆盖相关的湍流概率密度函数（PDFs），需要比在Re=40时的等效计算更多的状态。

图3. 在Re=100时能量产生率与耗散率的关系。灰色背景是从长时间湍流计算tlong=2.5×105得出的概率密度函数（PDF）。等高线级数以对数间隔，最小值为 10−6。闭合环是151个收敛UPO的二维投影。所有数值均以层流值 Dl=Re/(2n2)归一化。所有周期轨道及相关属性（周期、位移、Floquet指数）均列在附录中。

我们在图4中展示了一些收敛的UPO。解表现出多种不同的动力学行为。通常，这些状态主要由两个大涡块主导[由于逆向级联所致]——见图4中间两排。在这种类型的解中存在很大差异，除了图中所示的行为（例如，一个强大的静止涡旋和一个共转涡旋对），还存在具有三个或更多同号共转涡旋的状态——详见附录。更强耗散的状态（图4的顶部和底部）显示出更加多样的涡量动力学，需要进一步的工作来评估我们方法所发现的各种UPO“类别”。

图4. 面外涡量在 Re=100下的四个UPOs上以时间等间隔提取的四个点处的快照。从上到下，UPOs的周期和平均耗散率分别为：(T,⟨D/Dl⟩)=(1.424,0.057)、(1.794,0.053)、(4.212,0.027)和(1.164,0.078)。涡量等高线级数在 ±10之间。

5.1 识别UPO影子

鉴于我们找到的众多收敛UPO及其在 Re=40 时对I–D平面的特别良好覆盖，我们现在尝试通过标记湍流时间序列快照，找出哪个UPO“最接近”，以验证并可视化Hopf的原始猜想。我们的目标是使用我们收集的UPO来划分状态空间，并将湍流轨道转化为离散时间马尔可夫过程的实现。

为了准确测量到最近UPO的距离，我们在“DenseNet”配置中训练了高度精确的深度卷积自动编码器（有关完整的架构和训练细节，见材料与方法），并将使用基于这些网络中的潜在表示的可观测量，而不是物理空间中快照之间的距离。这些模型的准确性已在我们最近的工作中展示过，覆盖了广泛的Re范围——即使在罕见的最高耗散事件中，准确性也得到了保持。

这些自动编码器由编码器 E:R^Nx×Ny→R^m（其中 m=128在 Re=40 时，m=512在 Re=100时）和解码器 D:R^m→R^Nx×Ny组成，使得[D∘E](ω)≈ω。给定一个编码后的快照E(ω)，我们首先通过将E投影到所谓的“潜在傅里叶模态”上来构建一个流向平移不变的可观测量，这些模态是离散平移算子 T_αE(ω):=E(T^αω)（对于某些固定的流向平移α）的特征向量。然后，我们使用这些投影构建一个向量可观测量ψ(ω)，其具有性质ψ(T^sω)=ψ(ω)对于所有s∈R（详细信息见材料与方法）。最后，我们计算每个周期轨道以及它的15个离散对称 品的周期平均值 {⟨ψ(S^mR^qf^t(ω_j))⟩_T:0≤m≤7,q∈{0,1}}。

最近的周期轨道与快照 ω\omegaω 的对应关系根据以下方式确定：

其中1≤j≤N_p(N_p是在给定Re下我们库中周期轨道的总数)，并且我们在每个时间点上搜索离散对称性。由于我们的大多数UPOs都是短周期且在相空间中局部化的，因此与UPO嵌入的时间平均值进行比较是稳健的，尽管更复杂的方法也可以在时间方向上进行搜索。

我们在Re=40时构建了长度为T=2.5×10⁴的长轨迹，在Re=100时构建了长度为T=10⁴的长轨迹，其中快照在前者中以δt=1的间隔分隔，在后者中以δt=0.25的间隔分隔。每个案例中的快照间隔都是基于我们库中UPO的典型周期（例如，在Re=40时常见的周期为T∼5，而在Re=100时，许多解的周期为1≤T≤2）以及观察周期解“影子”动力学发生的动机。湍流时间序列被转换为形式为 POi→POi→POi→POk→POj→POj→⋯的标签序列。

5.2 离散时间马尔可夫链和统计预测

图5展示了上述UPO标记协议的一个示例，我们在此为了说明目的使用了更精细的δt。图中的示例显示了一个扩展的高耗散爆发事件，该事件在大约t∼30时恢复到较为平静的低耗散动力学。曲线根据方程6确定的最接近的UPO进行着色，这表明流动在长时间内保持接近某个特定的UPO，并且这一特定序列可以通过少量的精确解很好地描述。事实上，这个示例轨迹超过一半的时间都在接近仅四个UPO的区域内，高耗散事件多次采样相同的解（图5中的深蓝色曲线，另见图例）。我们将该示例轨迹沿途的快照与图右侧面板中最接近的UPO的快照进行比较，可以看到湍流中的许多相似的定性流动特征在周期解中得到了再现。同时也清楚地表明，匹配还可以进一步改善——更稳健的标记协议也可以在所有UPO的时间方向上进行搜索，尽管这样做会显著增加计算开销。

图5. (A) 在 Re=40 时耗散率的示例时间演化，颜色根据方程6确定的最近UPO进行标记。在此区间内最频繁访问的五个UPO在图例中突出显示，并以其周期 TTT 进行标注。(B) 涡量的快照（顶部）来自用于生成(A)中耗散图的直接数值模拟 (DNS)，快照对应的时间在(A)中用方框/数字标识，同时也展示了最接近的UPO的快照（底部），其中我们选择了水平位移s和轨道上的时间τ，以最小||ω−Tsfτ(ωPO||2。

我们现在使用上一节末尾描述的长时间序列来构建转移概率矩阵P，其元素为 P_ij:=P(PO_i→PO_j)。通过简单地计数状态之间的转移，然后对行进行归一化∑_jP_ij=1∀i，可以轻松计算出这一量。图6A展示了Re=40时的转移矩阵，其中状态按耗散排序（低耗散在顶部，高耗散在底部）。我们还展示了通过π^TP=π^T获得的不变测度。

图6. (A)在Re=40时的不变测度π和转移矩阵P（显示为转移概率的对数，快照间隔为 δt=1）。状态按平均耗散率从低到高排序（最低在顶部/最左侧）。红色水平线标识了文中讨论的网 关或“混合”状态。红色垂直线强调了具有有限转移概率进入该混合区域的广泛状态范围，涵盖了高耗散和低耗散事件，而虚线垂直线表示文中讨论的 D/Dl=0.15的“阈值” 。(B) 展开式 [7] 中的权重（也是马尔可夫链的不变测度wj=πj）与每个UPO的增长Floquet指数之和（取其实部）∑jσj,σj>0的关系图。

转移矩阵中存在许多有趣的特征，值得进一步讨论。转移矩阵通常在其对角线上显示出最大的概率，这意味着对于大多数状态而言，最有可能的结果是在该特定UPO附近停留另一个时间片刻（此处为δt=1在Re=40时）。这与湍流轨道“影子”单个循环解的行为一致。非对角线上的非零概率还表明，转移倾向于发生在具有相似耗散率的状态之间。在Re=40时，混沌动力学可以分为低耗散的“静止”状态和较为罕见的高耗散爆发事件（大致归一化耗散 D/D_l≳0.15），这一划分在图6的转移矩阵中很明显，其中图中的状态按平均耗散排序，值D/D_l=0.15用黑色虚线标出；在高耗散状态之间有多条路径，然而这些爆发事件的转移似乎通过少数几个低耗散的网 关UPO（大约4个）发生，这些UPO也能将系统抛回到非常低的耗散状态（见图6中的红色线条）。

湍流的马尔可夫视角可以扩展为以周期轨道理论为基础进行统计预测。为此，我们寻求一组固定的权重{w_j}^Np_j=1，其中N_p是找到的UPO的总数，使得任何可观测量γ:M→Rⁿ在状态空间 M上的空间平均可以构建为UPO统计量的线性叠加。

其中Γ是正在考虑的平均值，而Γ_j是针对周期轨道j计算的相同统计量。根据我们的转移矩阵，我们可以简单地将权重定义为w_j≡π_j，其中∑_jw_j=1（根据定义）。这些权重在图6的下方面板B中作为基础UPOs不稳定性的函数进行了分析（通过Floquet指数的增长率之和来衡量）。权重与不稳定性水平呈负相关，其中高度不稳定的状态在重构中显得不太重要。这反映了这样一个事实：高度耗散的UPOs（它们对分布中非常弱的右尾贡献）往往更加不稳定。

为了展示上述UPO展开式[7]的表现，图7A报告了在Re=40时的长时间范围内（t_long=2.5×10⁵）计算的耗散率、能量产生率和动能的PDF，并叠加了通过表达式（如方程7）计算的基于UPO的PDF。无论是耗散还是产生的再现都非常完整——尽管我们缺少一些与较长轨道相关的非常低的值（如前文所述）。在这两种情况下，最值得注意的是高 DDD/高 III 尾部的精确重构，这在所有先前的尝试中都未能实现。动能E也被重现得相当高标准[特别是与以往尝试应用周期轨道理论的结果相比]。缺失的状态在E/E_l∼0.35和E/E_l∼0.45处，可能与缺少最低耗散的轨道有关。在附录中对此进行了进一步探讨，我们还展示了解在能量-耗散平面上的分布。

图7. 基于UPO的统计预测，这些预测是根据马尔可夫链的不变测度计算的，定义了UPO展开中的权重（方程7），适用于(A) Re=40 和(B) Re=100（转移矩阵在附录中报告）。从左到右的前三个面板显示了耗散率、产生率和能量的概率密度函数（PDF）：虚线蓝色曲线是通过长时间湍流计算（tlong=2.5×105）获得的“真实”PDF，而填充的灰色曲线是基于UPO的重构。最后两个面板比较了平均速度剖面和均方根速度波动（左侧为u，右侧为v））——在流向、离散对称性和时间上取平均值。蓝色和橙色曲线分别表示u和v的DNS真实值，黑色曲线表示基于UPO的重构。

图7A还测试了UPO预测的平均速度剖面和均方根速度波动（同样使用相同的权重），这些结果在离散对称性、流向坐标和时间上取平均值。所有三个预测值都接近真实的时间平均值，这再次表明UPO基于预测的表现相较于以往的最先进方法有了显著提升。

在图7B中，我们使用在 Re=100 时收集的大量151个UPO进行了类似的分析。对应的转移矩阵包含在附录中，表明存在影子效应，但在平均耗散上可能的转移大范围分布——尽管显然这一图景尚不完整，因为我们缺少许多重要状态，这一点从之前的结果中可以看出（例如图3）。尽管如此，图7B中报告的统计数据是令人鼓舞的，代表了即使在更低 Re 时也无法实现的显著进步。特别是，平均剖面的预测几乎完美，而均方根速度的误差仅为 O(10%)。PDF显示，缺失的状态与更大的耗散和能量值相关，这里概述的UPO搜索过程为通过进一步计算填补这些空白提供了明确的策略。

在本文中，我们汇集了令人信服的证据，支持湍流是一种在不稳定简单不变集 合之间弹跳的高维“弹球”的观点（这一观点通常归功于Hopf）。为此，我们设计了一个方法来找到大量动态相关的不稳定周期轨道（UPO）——这是该领域长期存在的局限性——并提出了一种方法，通过最近的UPO对湍流快照进行准确标记，其中距离在深度卷积自动编码器的潜在空间中测量。结果是湍流的马尔可夫图景，这在适中的雷诺数下不仅提供了对动态路径和极端事件路径的洞察，还提供了对混沌动力学的稳健统计预测。

UPO搜索策略被构建为一个基于梯度的优化问题，并在一个完全可微的流动求解器中实现。基于损失的这种方法允许针对具有特定特征的解（例如，高耗散、高能量）进行定向搜索，在适中的雷诺数 Re=40 下应用此方法揭示了大量先前无法检测到的短周期解——包括高耗散和低耗散。该方法在更高的雷诺数 Re=100 下仍然有效，我们再次发现了大量短周期解。在高雷诺数下的状态在状态空间中表现出高度局部化，并显示出丰富有趣的涡旋动力学。

为了根据最近的UPO对涡量快照进行标记，我们训练了高度精确的深度卷积自动编码器，并使用这些网络的低维潜在空间中的可观测量来衡量相似性。然后，我们能够将长时间的湍流时间序列视为马尔可夫链，其中每个UPO都是一个独立的状态，构建转移矩阵，并使用其不变测度进行统计预测。在 Re=40 下，该方法特别有效，因为新的UPO库几乎涵盖了完全湍流状态下看到的产生和耗散事件的全范围，结果是统计预测非常稳健。即使在 Re=100 下状态集不完整，速度矩统计的预测也相当稳健，并且相较于以前的方法，即使在更低的雷诺数下也是一个显著的改进。

尽管收敛了大量新解，仍然有一些重要的状态在 Re=40 时缺失，而在 Re=100 时则缺失了大量解。这些空白中的一些（例如 Re=40 时的低耗散事件）可能会从改进的快照选择过程受益。在当前配置中，改进可能涉及诸如仅选择返回到状态空间相似区域的快照——不是近似重现，而是更弱的要求，例如通过这里训练的自动编码器确定——或者通过搜索离散对称性。这在研究更复杂的三维流动时可能是一个重要的考虑因素。

尽管如此，在 Re=100 时状态空间覆盖中的大范围空白，结合组装解时不断增加的计算成本，自然会引起一些关于“UPO-弹球”概念适用性的担忧，以分解二维和三维多尺度湍流的高雷诺数流动的统计数据。例如，在 Re=100 时使用 T≈2.5 的新解收敛，网格点数为 N_x×N_y=512×512 时，平均需要约24小时的GPU计算时间（使用Nvidia V100显卡，此计算假设从随机湍流快照开始的成功率为5%）。此外，还有用于标记快照的自动编码器训练成本（在约10⁵个快照的训练数据集上需要约48小时的GPU时间）以及构建稳健的马尔可夫链所需的长参考轨迹成本——这本身就产生了准确的统计数据，UPOs用于重构这些数据。

即使完全的统计覆盖具有挑战性，寻找具有特定物理特性的精确循环流动的能力也非常有用，如果目标是理解个别动态事件在诸如能量级联等众所周知的统计现象中的重要性。同样值得注意的是，三维情况可能与本文研究的二维流动有很大不同：在二维情况下，我们预计在高雷诺数下获得的一些解可能会在 Re→∞ 时连接到欧拉方程的解，这些解预计会形成充满域的涡旋，而有壁湍流预计需要更复杂的多尺度描述，具有附着于边界的不同大小的涡旋。早期对三维最小流动单元中弱瞬态湍流的研究表明，个别UPOs的统计数据有时可能与湍流本身非常相似，这为三维情况提供了谨慎的乐观态度。

本文概述的UPO搜索方法使我们能够明确针对我们迄今为止构建的PDF中的空白进行搜索，我们相信这一能力意味着尽管目前所需的计算时间似乎很极端，但仍有可能通过UPOs实现稳健的统计覆盖。方法的许多方面都有改进的空间，这些改进可能会加速搜索过程，包括i) 更加考虑的初始快照选择和ii) 修改优化（例如通过改变范数）以提高收敛率。这种表示的潜力远远超出简单的统计重构：UPO表示允许计算混沌系统的敏感性，而通常统计量的梯度是不可计算的，而最大的希望是在一个雷诺数下的构建可以用来评估个别动态事件在更高雷诺数下的统计中的作用，通过延续解及其权重。

7.1 模拟

使用JAX-CFD的有限差分版本进行的模拟在大小为 N_x×N_y=256×256 的网格上进行，雷诺数为 Re=40，以及在大小为 N_x×N_y=512×512 的网格上进行，雷诺数为 Re=100。对于算法中的牛顿求解组件，我们使用了JAX-CFD的光谱版本，并在光谱模拟中将分辨率与前期有限差分优化中的分辨率匹配。时间步长由基于速度估计的CFL条件决定，该速度估计是层流基本剖面的两倍，即 2×Re/(2n²)，这一速度通常比湍流状态下观察到的速度大得多。

代码的光谱版本在涡量-速度形式下求解Navier–Stokes方程，

其中 ω:=(∇×u)⋅z（与方程1相比）。与有限差分的原始变量公式不同，没有可能的背景恒定流动。每个时间步的速度场都是由涡量引起的，并通过求解泊松方程 Δψ=−ω 找到，其中流函数 ψ 通过以下关系导出诱导的速度分量：u=∂yψ，v=−∂xψ。

8.1 架构

卷积自动编码器是编码器 E_m 和解码器 D_m 的组合，使得

通过编码器E_m:R^Nx×Ny→R^m进行降维，其中我们在Re=40的数据中将m固定为128，在Re=100时固定为512。

编码器是一个全卷积架构，降维通过在卷积“密集块”后的最大池化来完成。每个密集块由三个连续的卷积层组成，每个层接收前一卷积层的输出并与同一密集块中的所有上游层的输出连接。每个密集块内的卷积都会创建额外的32个特征图。每个密集块后，我们应用最大池化，接着是一个卷积层，将特征图的数量减少到32。整个编码器由六个密集块/最大池化组合组成。在最内部的表示中，编码器生成一个形状为4×8×M的图像，其中 M=m/32（m是最内部潜在表示的指定维度）。Kolmogorov流中的离散平移反射对称性确定了垂直方向的值“8”。

在整个网络中，我们使用“GELU”激活函数，除了解码器输出使用tanh（输入数据被归一化ω→ω/ω_norm使得max|ω(x,y)|≤1）。解码器模块的结构与编码器相似，但顺序相反，使用上采样代替最大池化。

8.2 训练

我们使用修改后的“均方误差”作为损失函数：

其中额外的项（对涡量平方的均方误差）旨在鼓励网络学习高效地表示更为罕见的高耗散事件（而不是改变基础数据的分布），因为该项在整体损失中占据越来越重要的地位。

我们在每个 Re 下使用 N=10⁵ 样本进行训练，这些样本由1000个独立轨迹组成，快照间隔为一个对流时间单位。我们应用了数据增强：在x和y方向上随机平移，并应用旋转对称性。所有模型都使用Adam优化器，学习率为η=5×10⁻⁴，并训练500个周期，批量大小为64。

8.3 潜在傅里叶分析

潜在傅里叶分析是一种自动编码器可解释性技术，它利用了控制方程/边界条件中的连续对称性。在潜在傅里叶分析中，我们寻求一个操作符来对涡量场的嵌入进行连续平移，即

在实际操作中，我们使用 “动态模态分解”算法来确定一个近似T_α，它为测试数据集的嵌入及其α平移对应项之间的映射提供了最佳（最小二乘意义上）的操作符。经验上，我们观察到随着α的逐渐减小，只有少量非零的潜在波数会达到饱和（在Re=40时l_max=3，在Re=100时l_max=7），这表明网络嵌入的模式具有由l设置的基本周期性。每个潜在波数可能是高度简并的。

然后，我们可以写出一个快照嵌入的表示，受到任意平移 s∈R 的影响：

这与标准的傅里叶变换有着明确的联系。这里，P^l是与波数l相关的简并特征空间上的投影算符：

每个d(l)简并方向上的投影算符定义为，其中ξ_k^(l)是子空间l中的特征向量，匕首符号表示伴随特征向量。

为了定义我们的平移不变可观测量ψ(ω)，我们对与l≤3相关的单个特征空间上的投影进行SVD（大多数能量都包含在这些模式中），通过特征值|λ|>0.9的数量确定简并度d(l)。然后使用每个子空间中SVD的左奇异向量确定平移不变的可观测量：

通过将对l>0的投影取绝对值，确保了ψ(ω)≈ψ(T^sω)∀s∈R。

与在物理空间中测量涡量场之间的距离相比，使用ψ作为可观测量显著提高了UPO检测中的循环流动分析的效果。