Annual Review：一文讲透机器学习(ML)如何革新流体力学研究？(万字长文总结）

1. 引言    

流体力学一直以来都需要处理来自实验、现场测量和大规模数值模拟的大量数据。事实上，由于高性能计算架构的发展以及实验测量能力的进步，在过去的几十年里，大数据已经成为流体力学研究中的一种现实（Pollard等，2016）。在过去的50年里，许多技术被开发出来以处理这些数据，从用于数据处理和压缩的先进算法到流体力学数据库（Perlman等，2007；Wu & Moin，2008）。然而，流体力学数据的分析在很大程度上依赖于领域专业知识、统计分析和启发式算法。

如今，数据的增长在科学各学科中普遍存在，从数据中获取有价值的信息已成为一种新的科学探索方式以及商业机会。我们这一代正在经历一个前所未有的交汇点，即：（a）庞大且日益增长的数据量；（b）计算硬件的进步以及计算、数据存储和传输成本的降低；（c）复杂的算法；（d）大量的开源软件和基准问题；以及（e）行业在数据驱动问题解决方面的持续重大投资。这些进展反过来激发了人们对机器学习（ML）[处理并从数据中提取信息的算法；它们有助于任务的自动化，并扩展人类领域知识]领域的兴趣，并推动了其从这些数据中提取信息的进展。机器学习现正迅速进入流体力学领域。这些学习算法可根据学习机（LM）所能获得的数据信息量，分为监督学习[从带有专家知识标签的数据中学习，为算法提供纠正信息。]、半监督学习[通过部分标注的数据进行学习（例如生成对抗网络），或者通过机器与环境的交互进行学习（如强化学习）]和无监督学习[在没有标注的训练数据下进行学习]（见图1）。

图1 机器学习算法可以根据学习过程中可获取的信息范围和类型分为监督学习、无监督学习和半监督学习。缩写：PCA，主成分分析；POD，适当正交分解。

机器学习（ML）提供了一种模块化且灵活的建模框架，能够根据需求调整来应对流体力学中的许多挑战，例如降阶建模、实验数据处理、形状优化、湍流闭合建模和控制。随着科学探索从基于第一性原理的研究转向数据驱动的方法，我们可以将其与20世纪40年代和50年代为求解流体动力学方程而开发的数值方法进行类比。流体力学可以从学习算法中获益，反过来，这些算法也面临着挑战，可能进一步推动其发展，从而补充人类的理解和工程直觉。

除了概述成功案例外，我们还必须注意理解学习算法如何工作以及这些方法何时能够成功或失败的重要性。保持对机器学习能力的热情与现实中的应用情况之间的平衡至关重要，因为机器学习在流体力学中的应用仍然是一个开放且具有挑战性的领域。在这一背景下，我们还强调将流体力学的领域知识融入学习算法中的益处。我们预见到，流体力学界可以为机器学习的进步做出贡献，正如上世纪数值方法的进步一样。

1.1 历史概述

机器学习（ML）与流体动力学的交汇历史悠久，甚至可能让人感到惊讶。早在20世纪40年代，统计学习理论的奠基人之一柯尔莫哥洛夫（Kolmogorov）就将湍流视为其主要应用领域之一（Kolmogorov 1941）。在20世纪50年代和60年代，机器学习的进展表现为两种截然不同的发展。一方面，我们可以区分控制论（Wiener 1965）和旨在模拟人脑思维过程的专家系统，另一方面，像感知器[感知器：第一台学习机器；用于分类的二元决策单元网络]（Rosenblatt 1958）这样的机器旨在自动化分类和回归等过程。感知器在分类方面的应用引起了极大的兴奋。然而，这种兴奋很快被发现其能力具有严重限制的研究结果所遏制（Minsky & Papert 1969）：单层感知器只能学习线性可分的函数，无法学习XOR函数。尽管当时已经知道多层感知器可以学习XOR函数，但由于当时的计算资源有限（这是机器学习研究中反复出现的主题），其发展可能受到了限制。对感知器的兴趣下降也很快导致了对人工智能（AI）整体兴趣的减少。

机器学习的另一个分支与20世纪60年代早期控制论的萌芽思想密切相关，由两位研究生——柏林工业大学的英戈·雷申贝格（Ingo Rechenberg）和汉斯-保罗·施韦费尔（Hans-Paul Schwefel）开创。他们在风洞中对由五块相连板组成的波纹结构进行了实验，目标是找到能够减少阻力的最佳角度（见图2）。他们的突破是在这些角度上加入随机变化，其中随机性是通过加尔顿板（一个模拟随机数发生器）生成的。最重要的是，方差的大小根据实验的成功率（正面/负面）进行了学习（增大/减小）。尽管其工作极具创新性，但雷申贝格和施韦费尔的工作在流体力学界很少得到认可，尽管许多流体力学和空气动力学中的应用都可以追溯到他们的研究。对人工智能在空气动力学应用潜力的重新兴趣几乎与20世纪80年代初计算流体动力学的早期发展同时出现。当时，专家系统在辅助空气动力学设计和开发过程中的作用得到了重视（Mehta & Kutler 1984）。

图2 流体力学实验中第一个学习和自动化的实例：雷申贝格使用加尔顿板（Galtonbrett）作为模拟随机数发生器进行的实验，旨在找到波纹板的最佳角度以减少阻力。

1974年，流体力学与机器学习之间的间接联系是著名的Lighthill报告，该报告批评了英国的人工智能（AI）项目未能实现其宏大承诺。该报告在英国，随后在美国引发了对人工智能的资金削减和兴趣下降，这一现象被称为人工智能寒冬。Lighthill的主要论点基于他认为人工智能永远无法解决参数空间中可能配置的组合爆炸问题。他以当时语言处理系统的局限性作为人工智能失败的一个关键例证。为Lighthill辩护的是，40年前，很难想象今天我们所知的现代计算机的强大性能。事实上，今天人们可以在互联网上观看Lighthill的演讲，与他的演讲配套的是一个由机器学习算法自动生成字幕。

对机器学习（尤其是神经网络，NN，神经网络：一种基于神经元生物网络的计算架构，用于非线性回归）的兴趣重新燃起是在20世纪80年代末，伴随着反向传播算法的发展（Rumelhart等，1986）。这一算法使得多层神经网络的训练成为可能，尽管早期大多数网络至多只有两层。其他刺 激来源还包括Hopfield（1982）、Gardner（1988）以及Hinton & Sejnowski（1986）的工作，他们将机器学习算法与统计力学建立了联系。然而，这些发展并未吸引许多流体力学研究人员。20世纪90年代初，神经网络在与流动相关的问题中的应用开始出现，主要是在粒子追踪测速（PTV）和粒子图像测速（PIV）的轨迹分析和分类中（Teo等，1991；Grant & Pan，1995），以及在多相流中的相位配置识别中（Bishop & James，1993）。同时，还利用了主正交分解（POD）与线性神经网络之间的联系（Baldi & Hornik，1989），以仅使用壁面信息重构湍流流场和通道流的近壁区域流动（Milano & Koumoutsakos，2002）。这一应用是首次使用多层神经元来提高压缩结果，标志着今天所谓的深度学习（多层神经网络；用于在不同抽象级别创建强大的层次表示）在流体力学领域的首次应用。

近年来，我们经历了机器学习在流体力学应用中的再度繁荣。这种兴趣的大部分归因于深度学习架构的卓越性能，它们能够分层地从数据中提取有用的特征。这导致了在数据丰富但模型有限的领域（如社会科学）以及预测能力为关键财务因素的公司中的许多进展。流体力学并不是一个模型有限的领域，但它正迅速变得数据丰富。我们相信，第一性原理与数据驱动方法的这种交汇是独特的，具有变革流体力学和机器学习的潜力。

1.2 流体动力学中机器学习的挑战与机遇

流体动力学所面临的挑战与许多机器学习应用（如图像识别和广告）中的问题有所不同。在流体流动中，通常需要精确量化潜在的物理机制，以便进行分析。此外，流体流动表现出复杂的、多尺度现象，而这些现象的理解和控制在很大程度上仍未得到解决。非定常流场需要能够应对非线性和多重时空尺度的算法，而这些特性在流行的机器学习算法中可能并不存在。此外，许多机器学习的重要应用（如围棋游戏）依赖于廉价的系统评估和对必须学习过程的详尽分类。但在流体力学中情况并非如此，实验可能难以重复或自动化，模拟可能需要大规模超级计算机长时间运行。

机器学习在机器人技术中也变得至关重要，像强化学习（RL：代理通过与环境交互来学习策略，以最大化其长期回报）这样的算法在自动驾驶和飞行中经常被使用。尽管许多机器人在流体环境中运行，流体动力学的细微差别目前似乎并未成为其设计中的主要关注点。类似于飞行技术的早期发展，模仿自然形态和过程的解决方案通常是常态。我们相信，当能量消耗和复杂流动环境中的可靠性成为设计中的关键问题时，更深入地理解和利用流体力学将变得至关重要。

在流动控制的背景下，为了实现工程目标主动或被动地控制流体动力学，可能会改变系统的性质，使得基于非控制系统数据的预测变得不可能。尽管流动数据在某些维度（如空间分辨率）上是巨大的，但在其他维度上可能是稀疏的；例如，执行参数化研究可能会非常昂贵。此外，流动数据可能高度异质化，因此在选择学习机器（LM）类型时需要特别小心。此外，许多流体系统是非稳态的，即使对于稳态流动，获得统计收敛的结果也可能代价高昂。

流体动力学是交通、健康和国防系统的核心，因此机器学习解决方案的可解释性、可说明性和通用性至关重要。此外，通常需要对性能提供保证，而这在当前是罕见的。事实上，许多机器学习算法中严重缺乏收敛性结果、分析和保证。还需要考虑模型是用于参数范围内的插值还是外推，后者的挑战性要大得多。最后，我们强调在独立数据集上进行交叉验证以防止机器学习中过拟合的重要性。

学习流体力学：从生物体到机器

鸟类、蝙蝠、昆虫、鱼类、鲸鱼以及其他水生和空中生物能够进行惊人的流体操控，它们通过优化和控制自身的形态和运动，利用非定常流体动力来实现敏捷的推进、高效的迁徙和其他精妙的动作。在生物界中观察到的流体流动优化和控制范围令人叹为观止，数千年来一直激发着人类的灵感。这些生物是如何学会操控流动环境的呢？

迄今为止，我们只知道有一个物种通过了解纳维-斯托克斯方程来控制流体，那就是人类。自有记录历史之前，人类就已经在通过创新和工程手段来利用流体，从水坝和灌溉到磨坊和航行。早期的努力主要依赖直观设计，而最近的定量分析和基于物理的设计则在过去一百年中引发了性能上的革命。实际上，基于物理学的流体系统工程是人类成就的一个顶峰。然而，基于方程的流体分析面临着严峻挑战，包括高维性和非线性，这些问题难以用封闭形式解出，并限制了实时优化和控制的能力。在新千年的开端，随着机器学习和数据驱动优化工具的日益强大，我们正在再次学习如何从经验中学习。

我们认为，这份不完全的挑战清单不应成为障碍；相反，它应为开发更有效的机器学习技术提供强有力的动力。如果这些技术能够解决流体力学问题，它们很可能会对多个学科产生影响。将机器学习应用于具有已知物理规律的系统（如流体力学）可能会为算法提供更深层次的理论见解。我们还相信，结合机器学习和第一性原理模型的混合方法将成为一个富有发展潜力的领域。

本综述的结构如下：第二部分概述了机器学习的基本算法，随后讨论了这些算法在流动建模（第三部分）以及优化和控制（第四部分）中的应用。第五部分对该领域进行了总结并展望。

2. 机器学习基础    

学习问题可以被表述为使用有限数量的观测值来估计系统的输入、输出和参数之间关联的过程（Cherkassky & Mulier，2007）。我们区分样本生成器、研究中的系统和学习机器（LM），如图3所示。我们强调，LM的逼近本质上是随机的，其学习过程可以总结为一个风险泛函的最小化：

其中，数据x输入和y输出是从概率分布p(x,y)中采样的，f(x;θ)定义了学习机器的结构，θ是学习机器的参数，损失函数L平衡了不同的学习目标（例如，准确性、简单性、光滑性等）。我们强调，风险泛函由概率分布p(x,y)加权，它也限制了学习机器的预测能力。各种类型的学习算法可以分为三大类：监督学习、无监督学习和半监督学习，如图1所示。这些区分代表了学习机器可以获得的外部专家监督信息的程度。

图3 学习问题。学习机器使用来自样本生成器的输入和系统的观测值生成其输出的近似。图基于Cherkassky & Mulier（2007）。

2.1 监督学习

监督学习意味着学习机器（LM）可以获得纠正性信息。其最简单和最常见的形式是带有标签的训练数据，这些标签对应于LM的输出。通过最小化与训练数据相关的成本函数，可以确定LM的未知参数。在这种情况下，监督学习可以追溯到几个世纪前由高斯提出的回归和插值方法（Meijering 2002）。常用的损失函数之一为：

替代的损失函数可能反映对LM的不同约束条件，如稀疏性（Hastie et al. 2009；Brunton & Kutz 2019）。逼近函数的选择反映了对数据的先验知识，线性和非线性方法之间的选择直接影响学习方法的计算成本。

1）神经网络

神经网络（NNs）可以说是监督学习中最著名的方法。它们是基本的非线性函数逼近器，近年来，许多工作致力于理解其有效性。通用逼近定理（Hornik等，1989）表明，任何函数都可以通过一个足够大且深的网络逼近。最近的研究表明，稀疏连接的深层神经网络在信息论方面是广泛函数和系统的最优非线性逼近器（Bölcskei等，2019）。

神经网络的强大和灵活性来自于其基于神经元的模块化结构，神经元是其核心构件，类似于人脑中的神经元。每个神经元接收输入，经过激活函数处理后产生输出。多个神经元可以组合成不同的结构，以反映对问题和数据类型的知识。前馈网络是最常见的结构之一，它由多层神经元组成，一层的加权输出是下一层的输入。神经网络的架构包括接收数据的输入层和产生预测的输出层。通过非线性优化方法（如反向传播，Rumelhart等，1986），可以识别网络权重，以最小化预测与标记训练数据之间的误差。深层神经网络涉及多个层次和各种非线性激活函数。当激活函数以卷积核的形式表达时，一类强大的网络出现了，即卷积神经网络（CNNs），在图像和模式识别中取得了巨大成功（Krizhevsky等，2012；Goodfellow等，2016）。

递归神经网络（RNNs）如图4所示，特别受到流体力学的关注。它们作用于数据序列（如视频中的图像、时间序列等），其权重通过时间反向传播获得。RNN在自然语言处理和语音识别中非常成功。其架构考虑到了数据的固有顺序，从而扩展了经典神经网络在信号处理中的先驱应用（Rico-Martinez等，1992）。然而，在训练过程中，RNN的有效性受到梯度消失或爆炸问题的阻碍。对RNN的重新关注主要归功于长短期记忆（LSTM）算法的发展（Hochreiter & Schmidhuber，1997），该算法使用单元状态和门机制来存储和遗忘过去输入的信息，从而缓解了标准RNN在传递长期信息时所遇到的梯度问题。一个扩展的架构——多维LSTM网络（Graves等，2007）被提出以有效处理高维时空数据。近年来，几种强大的RNN替代方法相继出现；例如，回声状态网络在预测多个动力系统的输出时取得了成功（Pathak等，2018）。

图4 用于时间序列预测的递归神经网络（RNNs）及长短期记忆（LSTM）正则化。

2）分类：支持向量机和随机森林

分类是一个监督学习任务，它可以根据预先标记的训练数据确定一组测量值的标签或类别。分类可能是最古老的学习方法，最早可以追溯到感知器（Rosenblatt 1958），该方法可以对两类线性可分的数据进行分类。两种基本的分类算法是支持向量机（SVMs）（Schölkopf & Smola 2002）和随机森林（Breiman 2001），它们已在工业界广泛采用。问题可以通过以下损失泛函来描述，这里以两个类别为例：

LM的输出是数据所属类别的指示器。风险泛函量化了误分类的概率，任务是通过合适的选择最小化基于训练数据的风险。随机森林基于一组决策树，它们通过简单的条件语句层次化地将数据分割开来；这些决策是可解释的，且在大规模应用中计算快速。在分类的背景下，SVM将数据映射到一个高维特征空间，在这个空间上可以进行线性分类。

2.2 无监督学习

无监督学习任务意味着通过指定某些全局标准，从数据中提取特征，而不需要监督或对结果的真实标签。涉及的问题类型包括降维、量化和聚类。

1）降维I：适当正交分解（POD）、主成分分析（PCA）和自编码器

从实验数据和大规模模拟中提取流动特征是流动建模的基石。此外，确定高维数据的低维表示可以作为监督学习算法中所有任务的预处理。降维还可以被视为一个信息过滤瓶颈，其中数据在映射回高维空间之前通过低维表示进行处理。经典的POD算法属于这一类学习，在第三节中将进一步讨论。POD，也被广泛称为线性主成分分析（PCA），可以被表述为一个两层神经网络（自编码器：一种用于压缩和解压缩高维数据的神经网络架构；正交分解的线性和非线性替代），其线性加权输入具有线性激活函数，可以通过随机梯度下降进行训练（见图5）。这一表述是神经网络中线性特征值/特征向量问题的算法替代方案，并通过添加更多层和非线性激活函数为进入非线性领域和深度学习提供了直接途径。无监督学习算法在流体力学社区中应用较少，但我们认为它们值得进一步探索。近年来，机器学习社区开发了许多自编码器，当这些自编码器与流场的潜在特征合理匹配时，可以为静态和时间依赖数据的降阶建模带来重要的见解。

图5 PCA/POD（左）与浅层自编码器（中）和深层自编码器（右）。

如果浅层自编码器中的节点激活函数是线性的，则u和v是最小化损失函数的矩阵。节点激活函数可以是非线性的，从而最小化损失函数。输入数据x被降维为z，其中z=f(x)。请注意，PCA/POD 需要解决特定问题的特征值方程，而神经元模块可以扩展到非线性激活函数以及多个节点和层。缩写：PCA，主成分分析；POD，适当正交分解；C，均值去除数据的协方差矩阵；U，线性编码器；v，特征向量；V，线性解码器；x，输入向量；x_n，第n个输入向量；mu，输入数据的均值；hat{x}，自编码器重构；z，潜在变量；lambda，特征值；phi，深层编码器；psi，深层解码器。

2）降维 II：离散主曲线和自组织映射

高维数据与低维表示之间的映射可以通过显式构造低维空间来实现，这可能反映了关于该子空间的先验知识。这些技术可以视为线性自编码器的扩展，其中编码器和解码器可以是非线性函数。然而，这种非线性可能会以牺牲编码器和解码器之间的逆关系为代价，而这种逆关系是线性PCA的优势之一。另一种方法是将解码器定义为编码器逆函数的近似，从而得出主曲线方法。主曲线是在学习算法的编码步骤中对数据进行投影的结构。解码步骤则通过对主曲线进行平滑处理等方法，近似该映射的逆映射。该过程的一个重要版本是由Grossberg（1976）和Kohonen（1995）提出的自组织映射（SOM）。在SOM中，投影子空间由具有特定连接架构和距离度量的有限值集描述。编码步骤相当于为每个数据点识别SOM中最近的节点点，而解码步骤则是使用加权回归估计，例如，利用核函数来利用映射节点之间的距离度量。这将修改节点中心，并可以迭代进行该过程，直到自编码器的经验风险最小化。SOM的能力可以通过与线性PCA进行比较来示例，对于二维点集，线性PCA将提供点之间最小二乘直线的近似，而SOM则会将点映射到更好地逼近数据的曲线上。值得注意的是，SOM可以扩展到浮点数据之外的领域，它们为基于流场特征创建数据库提供了一种有趣的方法。

2.3 聚类和矢量量化

聚类是一种无监督学习技术，用于识别数据中的相似组。最常见的算法是k-means聚类，它将数据划分为k个簇；一个观测值属于最近质心的簇，从而将数据空间划分为沃罗诺伊（Voronoi）单元。

矢量量化器用于识别可分为预定数量簇的数据的代表性点。这些点可以代替整个数据集使用，以便未来的样本可以通过这些点进行近似。矢量量化器Q提供了数据x与簇中心坐标之间的映射。损失函数通常是数据相对于簇中心的平方失真，它必须最小化以确定量化器的参数：

需要注意的是，矢量量化是一种数据压缩方法，而不一定用于降维。在降维过程中，学习问题旨在识别高维数据中的低维特征，而量化则是寻找数据的代表性簇。矢量量化也必须与聚类区分开来，因为在量化中所需的中心数是预先确定的，而聚类的目标是识别数据中的有意义分组。当这些分组由一些原型表示时，聚类和量化具有很强的相似性。

2.4 随机优化：从学习算法的角度

优化是学习的内在部分，因为通过最小化风险泛函来确定学习机器（LM）的参数。然而，我们希望在这篇综述中强调另一层联系：优化（和搜索）算法可以被视为学习算法的一部分，特别是学习一个包含能够最大化某个目标的设计点的概率分布的过程。这一联系由Rechenberg（1973）和Schwefel（1977）率先提出，他们引入了进化策略（ES），并基于实验的成功率调整其搜索空间的方差。这一过程类似于选择和变异操作，它们是遗传算法（GAs）（Holland 1975）和遗传编程（Koza 1992）的关键组成部分。ES和GAs可以看作是梯度搜索策略和拉丁超立方体或蒙特卡罗采样方法的混合体，前者有效地朝向最小值前进，而后者则最大限度地探索搜索空间。遗传编程由J.R. Koza于20世纪80年代末开发，他是John Holland的博士生。遗传编程将参数优化推广到函数优化，最初以操作树的形式编码（Koza 1992）。这些算法的一个关键方面是它们依赖于基于目标函数数据值的概率分布的迭代构建。对于需要昂贵的目标函数评估的问题，这种迭代构建可能耗时且几乎不可能实现。

在过去的20年中，ES和GAs逐渐融合为分布估计算法（EDAs）。协方差矩阵自适应进化策略（CMA-ES）算法（Ostermeier等，1994；Hansen等，2003）是使用高斯概率分布的协方差矩阵自适应估计来引导最佳参数搜索的ES的一个著名例子。该协方差矩阵在每次迭代中使用最优点进行更新。CMA-ES与其他几种算法密切相关，例如混合贝叶斯优化算法（Pelikan等，2004），有关比较综述可参考Kern等（2004）。近年来，这一研究演变为更加广泛的信息几何优化（IGO）框架（Ollivier等，2017）。IGO算法允许在优化过程中学习概率分布的参数，并保持成本函数不变性作为主要设计原则。该算法不对要优化的目标函数做任何假设，其流程等效于随机梯度下降。这些技术在一些简化的基准问题上已经被证明是有效的，但它们的扩展性仍不明确，且在复杂流体动力学问题中遇到的成本函数景观上，几乎没有收敛性保证。同时，我们还注意到越来越多人希望将这些优化方法应用于最小化与经典机器学习任务相关的成本函数（Salimans等，2017）。

2.5 我们未涵盖的重要话题：贝叶斯推理和高斯过程

有几种学习算法本文未涉及，但它们值得流体力学领域特别关注。首先是贝叶斯推理，它旨在在概率框架下利用数据为模型结构及其参数提供信息。贝叶斯推理对于不确定性量化至关重要，它本质上也是一种学习方法，因为它使用数据来调整模型。事实上，另一种观点是，每个机器学习框架都可以被放在贝叶斯框架中进行讨论（Barber 2012；Theodoridis 2015）。本文所概述的优化算法直接与此相关。虽然优化算法旨在为给定数据以随机方式提供模型的最佳参数，贝叶斯推理则旨在提供完整的概率分布。可以说，贝叶斯推理甚至比机器学习更强大，因为它为所有参数提供了概率分布，从而实现更具鲁棒性的预测，而不是像经典机器学习算法通常那样仅提供单个值。然而，贝叶斯推理的一个关键缺点是其计算成本高昂，因为它涉及高维空间中的采样和积分，这对于昂贵的函数评估（例如风洞实验或大规模直接数值模拟）来说可能是不可承受的。同样需要提到的是高斯过程（GPs），它类似于基于核的回归方法。然而，GPs根据可用数据自适应地构建这些核函数。它们还为相应的模型参数提供概率分布。GPs已经广泛用于与时间相关的问题，并且可以被视为递归神经网络（RNNs）的竞争者，尽管GPs的计算成本更高。最后，我们还注意到GPs在使用ES和GAs的优化问题中被用作昂贵成本函数的代理模型。

3. 基于机器学习的流动建模    

数个世纪以来，基于守恒定律等第一性原理一直是流动建模的主要基础。然而，对于高雷诺数，使用流体力学中最著名的模型——纳维-斯托克斯方程——进行尺度解析模拟超出了我们当前的计算资源。另一种方法是基于这些方程的近似进行模拟（如湍流建模中经常使用的做法）或针对特定配置进行实验室实验。然而，对于迭代优化来说，模拟和实验成本高昂，且模拟往往过于缓慢，无法实现实时控制（Brunton & Noack 2015）。因此，人们进行了大量努力，以获得准确且高效的降阶模型[降阶模型：用低维系统表示高维系统，平衡精度和效率]，能够以较低成本捕捉关键流动机制（Rowley & Dawson 2016）。机器学习通过提供一种简洁的框架，为流体力学中的降维和降阶建模提供了新的途径，补充并扩展了现有的方法。

我们在此区分两类互补的工作：降维和降阶建模。降维指的是提取关键特征和主导模式，这些模式可以作为降维坐标，用于紧凑而高效地描述流体（Taira等，2017）。降阶建模则描述了流动的时空演化，将其作为参数化的动力系统，尽管它也可能涉及从参数到平均量（如阻力）的统计映射。

为了简化动力学并捕捉关键流体物理，人们付出了巨大努力来识别坐标变换和降维方法，POD（适当正交分解）就是一个著名的例子（Lumley 1970）。模型降阶，例如将纳维-斯托克斯方程通过Galerkin投影投影到POD模式的正交基上，受益于与控制方程的紧密联系；然而，这种方法具有侵入性，需要人类专家从正在运行的模拟中开发模型。机器学习提供了模块化算法，可用于数据驱动的系统识别和建模。流体流动数据驱动建模的独特之处在于能够使用部分已知的控制方程、约束和对称性。随着模拟能力和实验技术的进步，流体力学正逐渐成为一个数据丰富的领域，从而适合使用机器学习算法。 

在本文综述中，我们区分了用于建模流动的机器学习算法：（a）通过提取流动特征进行运动学建模；（b）通过采用各种学习架构进行动力学建模。

3.1 流动特征提取

模式识别和数据挖掘是机器学习的核心优势。机器学习社区开发了许多技术，可以直接应用于时空流体数据。我们将讨论线性和非线性降维技术，随后介绍聚类和分类方法。此外，我们还考虑了加速测量和计算的策略，以及处理实验流场数据的方法。

1）降维：线性和非线性嵌入

在流体动力学模拟和建模中，常见的方法是从物理坐标定义到模态基的正交线性变换。POD（适当正交分解）为复杂几何形状提供了基于经验测量的正交基。Sirovich（1987）引入了快照POD，它将计算简化为一个涉及奇异值分解的简单数据驱动过程。有趣的是，同年，Sirovich使用POD生成了一个低维特征空间用于人脸分类，这是现代计算机视觉许多技术的基础（Sirovich & Kirby，1987）。

POD与PCA（主成分分析）算法密切相关，PCA是应用统计学和机器学习的基本算法之一，用于描述高维数据中的相关性。我们回顾一下，PCA可以表达为一个两层神经网络，称为自编码器，用于压缩高维数据以便紧凑表示，如图5所示。该网络将高维数据嵌入低维潜在空间，然后从潜在空间解码回原始高维空间。当网络节点为线性且编码器和解码器被约束为彼此的转置时，自编码器与标准的POD/PCA分解密切相关（Baldi & Hornik，1989）（见图6）。然而，神经网络自编码器的结构是模块化的，通过使用节点的非线性激活单元，可以开发非线性嵌入，从而可能提供更紧凑的坐标。这一发现促使开发了深层神经网络的早期应用之一，用壁面压力和剪切来重建湍流通道流中的近壁速度场（Milano & Koumoutsakos，2002）。如今，机器学习社区拥有更强大的自编码器，这种联系值得进一步探索。