首页/文章/ 详情

《空气动力学学报》好文推荐丨来自唐志共院士团队的综述 空气动力学领域大模型研究思考与展望

12小时前浏览14
唐志共1, 钱炜祺1, 何磊1, 2, 林杰1, 2, 3, 黄铭基1, 赵暾1, 王岳青1, 2, 袁先旭1, 2

1.中国空气动力研究与发展中心,绵阳 621000

2.空天飞行空气动力科学与技术全国重点实验室,绵阳 621000

3.国防科技大学 计算机学院,长沙 410073

引用本文:唐志共, 钱炜祺, 何磊, 等. 空气动力学领域大模型研究思考与展望[J]. 空气动力学学报, 2024, 42(12): 1−11. 
DOI:  10.7638/kqdlxxb-2024.0056
空气动力学发展至今,经历了19世纪初的实验研究、20世纪的理论研究、20世纪70年代的数值模拟3种研究范式。 随着智能技术的深入发展,与科学计算的融合不断迸发出新的火花,形成了人工智能赋能科学研究(artificial intelligence for science, AI4S)的新范式。这种范式通过物理驱动、数据-机理融合驱动、数据驱动等多种途径,在气动数据融合、气动外形设计、流场预测、气动力/热预测、湍流建模以及气动知识库构建等方面涌现了大量高价值研究及应用成果。
近年来,伴随数据的增长、算法的进步、硬件的升级,以及人们对通用人工智能的持续追求,大模型技术应运而生,并在自然语言处理和计算机视觉领域取得巨大成功。相较于传统智能模型,大模型拥有更多网络参数,使用更多的数据进行训练,具有强大的表达能力、预测能力、泛化能力和更强的通用性,成为了人工智能技术最活跃、进展最快的研究领域。空气动力学领域也出现了若干大模型,成为空气动力学研究的新手段。

1   大模型概述

广义的大模型是指具有大量参数和复杂结构的深度学习模型,通常模型参数量达到亿级以上,狭义的大模型是指大语言模型(large language model, LLM),本文所述大模型均指广义的大模型。
和传统较小规模的神经网络模型相比,大模型可以在大量数据中捕捉更加丰富的特征和模式,具有更强的表达能力、更高的预测准确性和更广泛的任务适应能力,主要有以下几个特征和区别:
一是模型规模更大。小模型一般包含数万个参数,小型计算集群甚至个人计算机即可进行训练;大模型通常包含数十亿甚至数万亿个参数,需要海量的数据和算力支撑。
二是泛化能力更强。由于大模型经过了海量数据的训练,使模型学习到了更多的数据共性和规律,从而具有了更强的泛化能力。
三是拓展性更强。传统智能模型范畴内,不同类型的小模型需要单独构建,各领域模型之间像一个个孤岛,模型效率和质量较差;大模型可以通过“大规模预训练+微调”的范式满足多元化任务需求,预训练实现多种基础能力,微调后适应多种细分场景,摆脱AI能力碎片化开发的束缚,缩短模型的开发周期,并得到更好的模型训练效果。
四是出现“涌现”效应。参数量和数据量达到一定规模后,大模型超越样本提供的特征,出现非预知的行为,在各种任务上表现出超出预期的性能提升,实现1+1>2的融合式涌现,这是小模型所不具备的特性。
参考业界主流观点,根据应用场景、数据类型可将大模型分为大语言模型、视觉大模型和科学大模型。目前,大模型正在向着多模态方向发展,这些模型可以综合处理多种不同类型的数据,例如文本、图像、音频、科学数据等。大语言模型、视觉大模型和科学大模型也并非“烟囱式”独立发展,相互之间已实现关联、调用、融合,共同解决特定场景、特定领域问题。 

2   空气动力学领域大模型研究现状

相较于智能空气动力学相关技术,在空气动力学研究中引入大模型技术的促进效果主要在两个方面:
一是通用的大语言模型、视觉大模型技术直接赋能现有研究范式,辅助空气动力学理论和模型研究,指导加速空气动力学领域实验和数值计算。
二是构建空气动力学领域的科学计算大模型。空气动力学领域的科学计算大模型泛指所有研究空气动力学现象与规律、包含大规模参数和复杂结构、具备前述4个特征的深度神经网络模型。这些模型主要处理飞行器几何外形和空气流动数据,以及相关联的结构、电磁、热力、声学等数据,揭示、预测数据之间蕴含的物理规律。本文主要针对此类大模型进行分析讨论。
由于高质量数据样本稀有、流动问题复杂、通用模型架构难以适用等诸多原因,空气动力学领域大模型研究尚处于起步阶段。下面对部分典型研究成果作简要介绍。
在流场预测方面,主要介绍气象预测和飞行器流场预测两类。2022年,英伟达公司基于Modulus框架,结合自适应傅立叶神经算子模型推出了天气预报预训练模型FourCastNet。2023年,华为公司在Nature上发表了盘 古气象大模型研究成果。针对大型客机巡航状态全流场高精度预测问题,2022年中国商用飞机有限责任公司发布了“东方·御风”大模型。随后,团队将研究对象从二维翼型拓展到三维机翼,发布“东方·翼风”大模型。另外,数据集方面,斯坦福大学构建了首个流体力学机器学习数据集BLASTNet,用于解决流体力学长期缺乏公开、大规模数据集的问题。
在湍流建模方面,西北工业大学设计了“秦岭·翱翔”流体力学大模型,该模型依托中国空气动力研究与发展中心主持研发的国家数值风洞(National Numerical Windtunnel,NNW)工程系列流场解算软件生成的大量流场数据,训练面向工程高雷诺数的人工智能湍流模型和端到端复杂流场快速预测模型,实现了高精度流场信息预测、全机阻力特性和流场特征的准确预测、湍流等复杂流动智能预测。 
在气动性能预测方面,目前暂无公开发布的大模型,但一些研究成果已经具有大模型雏形,通过增加训练数据和模型网络参数规模,具有发展为大模型的潜力。国防科技大学Shen等提出了一种面向三维飞行器外形的压力分布预测深度学习框架。中国空气动力研究与发展中心提出了一种基于几何预训练基础模型的三维外形气动系数预测模型框架。 
在气动外形设计方面,中国空气动力研究与发展中心研制了生成式气动外形设计大模型—“风雷”,提出了一种三维气动外形生成式设计深度学习框架。在几何表征方面,该框架采用点云对三维气动外形进行通用描述。
图  1  空气动力学领域大模型发展现状

3   空气动力学领域大模型研究关键问题

3.1   空气动力学领域大模型架构技术

模型架构影响着模型解决问题的能力,而模型架构与数据结构、问题内在机理的适配程度决定着这一能力的上限。对于空气动力学领域,关注的对象是气动外形、外形附近的流体运动以及气动外形与流体的相互作用,发展空气动力学领域大模型,关键在于能否提出最大程度容纳领域知识、符合领域数据特点的模型架构。

目前,智能模型技术主要采用两类架构,一类是学习函数映射关系的经典神经网络模型,另一类是用于学习算子空间的算子网络模型。基于这两类架构构建空气动力学领域大模型重点需考虑将物理规律和人类经验融入模型架构,以降低模型对数据的需求,进一步提高模型的可解释性和泛化能力。主要包括:1) 气动外形几何约束的融入;2) 气动规律和知识的融入。
尽管目前Transformer架构在预训练的大模型和各种下游任务中展示出了强大的性能,但其也对算力提出了巨大的需求。状态空间模型(state space mode, SSM),如Mamba,作为一种可能替代基于自监督学习的Transformer模型方案,近年来已受到广泛关注,同时,该架构蕴含的动力学反馈机制也与空气动力学的内在机理契合,有望在空气动力学领域大模型研究中应用实践。

3.2   空气动力学领域生成式模型反馈机制

生成式AI是近年来深度学习领域发展最为迅猛的方向,是在已有数据、知识归纳基础上学习数据所代表的联合概率分布,然后再基于这一概率空间根据用户需求和提示进行新内容的生成。

反馈对齐是生成式AI的关键技术,其作用是检验AI的输出与期望的结果相匹配,避免产生偏见或其他不符合人类意图和价值观的输出,具体包括技术对齐、伦理对齐、法律对齐和社会对齐等。科学计算生成式模型的对齐和大语言模型、“文生图”大模型的对齐存在一定的差别,主要体现在:

一是在对齐内涵方面,大语言模型、“文生图”大模型的对齐更强调伦理、法律和社会价值观的对齐,而科学计算生成式模型通常更注重物理规律及技术领域的对齐。

二是在对齐形式方面,大语言模型、“文生图”大模型的技术对齐是概念、语法上的对齐,更重视定性符合,而科学计算生成式模型的对齐则要求生成结果与提示数据间定量符合。

三是在反馈方式方面,通用大模型通常需要人工进行标注,再使用基于人类反馈的强化学习技术将人类反馈嵌入训练过程,从而增强模型对人类意图的理解和满足程度;而科学计算生成式模型的反馈,需要耦合面向生成对象的专业数值计算或定量分析工具,再将计算结果反馈到训练过程。

图  2  一种嵌入人类反馈的空气动力学领域大模型结构图

因此,空气动力生成式模型反馈对齐的关键技术主要是:

1) 传统CFD有效融入智能计算的技术。为了在反馈对齐过程中对生成对象的气动特性进行高效准确评估,可采用CFD技术对生成对象的气动特性进行计算。这一方面需要基于AI生成的外形自动构建计算网格,以气动设计大模型为例,若AI模型输出的是非网格形式的数据(例如点云、体素等),需要通过某些手段将其转为可计算的网格形式;另一方面还需要在大模型训练的智能计算框架下嵌入CFD流场解算工具,由于传统的CFD流场求解主要基于高性能计算平台实现,智能模型训练主要基于智能计算平台实现,二者并行计算模式存在一定差异,为了保证计算效率,需要对“高性能计算+智能计算”的混合计算架构进行优化。

2) 创新气动布局的检测与反馈。生成新颖的气动外形是工程领域构建生成式气动布局设计大模型的主要动机之一,其本质是基座模型或预训练模型中的一些关键特征在生成时以一定概率得以体现、并组合生成有意义且符合期望的新颖设计。在生成过程中,对新颖设计的有效性进行检测并将结果融入训练的梯度反传过程是一项关键技术,可考虑采用2种技术路线实现:一是预先构建气动布局智能分类模型,快速识别具有新颖拓扑结构的布局;二是借助气动性能进行判断,即利用已有数据样本预先训练气动特性智能预测模型,并将其接入大模型,在反馈对齐时将其输出的预测结果与上段提到的CFD评估结果进行对比,若差异显著则表明可能出现了具有新拓扑结构的气动布局。

3) RAG(Retrieval-Augmented Generation)技术推广应用于科学大模型的反馈对齐。RAG技术是一种用于解决LLM偏见、幻觉和时效性的技术,其核心是外挂知识库,通过检索外部知识库来获得高质量的问答对(语料),并使用上下文学习来改进LLM生成效果的方法,可有效克服LLM在面对幻觉、最新知识和复杂任务时能力不足的问题。该技术不仅适用于LLM,还适用于科学大模型,通过构建空气动力学领域知识库,在生成过程中融入气动规律和专家设计经验作为提示或约束,可提高生成对象的有效性。

3.3   大规模气动数据生成技术

大规模高精度数据是构建大模型的基础,但空气动力学领域数据样本总量少、单个样本规模大,精度且格式各异。因此,为构建满足预期的空气动力学领域大模型,需要解决训练数据生成方面的三个问题:

一是历史数据的清洗与补全。针对一些信息不完整的数据,可通过数据融合技术进行补全,例如,对于只有气动力数据没有压力载荷数据的情况,可以通过学习CFD气动力数据与压力数据之间的关联关系建立气动力数据与压力载荷数据之间的映射模型,进而实现由气动力试验数据重建压力载荷数据。 

二是面向样本多样性和覆盖性需求的数据补充。虽然高可信度的气动数据样本较少,但希望这些小样本数据具有足够的代表性,因此,对于一些重要的状态点,必须通过试验或计算方法获取训练数据。这是一个试验设计问题,可考虑采用正交/均匀试验设计方法或序贯试验设计方法实现样本点选取。 

三是建立融合多源多可信度数据的复合网络模型。从不同来源数据间存在内在关联的理论入手,建立多保真度数据融合方法,即利用大量低可信度数据捕捉数据整体变化趋势,再利用少量高精度数据对整体进行修正,提升数据整体精度,从而获得大规模高质量数据集。还可借鉴现有多模态大LLM和视觉大模型等广泛应用的技术方法,结合气动数据特点实际,设计气动领域多模态数据融合架构,进一步提升训练数据规模和使用质效。

图  3  基于多保真度网络的气动数据增广模型结构图

4  发展展望

随着数据不断丰富、算力提升、算法改进,空气动力学领域大模型将改变信息分发和获取模式,革新数据和知识生产模式,实现全自动交互完成任务目标,成为科研工作加速器,其主要发展方向如下:

1) 构建空气动力学领域统一的预训练基础模型,支撑各类典型应用。目前,空气动力学领域仍然以直接构建垂直领域模型为主要研发模式,构建统一的预训练基础模型是未来研究重要方向。空气动力学研究空气流动及其与物体相互作用产生的现象与规律,因此可以考虑从流场和物体外形两个角度出发,构建预训练基础模型。 

2) 气动领域专业大模型与知识库、LLM融合,提高科学发现效率。科学发现是“自发假设生成−试验−数据分析−规律发现”的过程,气动专业大模型与知识库、LLM融合,通过建立数据空间与语义空间的关联,可实现领域知识融入机器学习、高效自动推理,加速科学发现过程,提高科学发现效率。气动专业大模型与知识库、LLM具体融合的途径包含两方面:一是大语言模型对自然语言描述的问题和先验知识进行科学实体抽取和实体关系挖掘,得到结构化数据,再利用知识库进行推理,并将推理结果作为提示或约束融入专业大模型训练中;二是对训练得到的专业大模型进行分析研究,形成新的知识,例如,基于气动设计大模型,生成满足较高性能需求的创新布局,再对新布局的气动特性和流场进行分析,获得的规律可持续丰富现有的知识库,支撑更深更广的科学发现。 

3) 构建气动领域智能体,支撑智能试验和具身智能飞行器研发。基于大模型的智能体(Agent)是人工智能发展的重要方向。智能体借助LLM专长的思维链推理能力,可自动化地决策并采取行动,直到完成用户设定的最终目标。其关键特征包括自治性、知觉、反应能力、推理与决策能力、学习能力、通信能力以及目标导向性,可通俗地理解为:Agent = LLM+规划(Planning)+反馈(Feedback)+工具调用(Tool Invoke)。因此,基于空气动力学领域大模型,结合LLM作为服务入口和工具软件调度枢纽,可构建气动试验智能体,实现试验方案设计、试验过程监控与运行控制、试验数据实时分析评估与试验任务重规划的全流程智能管理。 

此外,对空气动力学领域大模型进行轻量化裁剪,部署到边缘设备,通常以LLM的Agent作为调度枢纽,结合其他感知大模型、决策大模型作为感知与决策工具,调用驱动发动机、舵机等外围硬件设备,可发展出具有自主飞行能力的具身智能飞行器。

5  结束语

大模型技术的应用将空气动力学领域研究推向了新的高地,其“大规模预训练+下游领域微调”的思想,可有效改善传统智能模型碎片化发展的现状,同时其强大的数据拟合能力,有望实现更深层次的数据挖潜,再次激发历史累积数据的价值。但是,仍需清楚认识到空气动力学领域大模型的研究和应用仍处于起步阶段,已有成果大多借鉴了计算机领域通用技术,探索发展本领域适用的模型架构将是未来研究重点。

另外,由于大模型构建需要依赖大量训练数据,但气动领域数据呈现样本少、规模大、模态多、获取成本高、高维非线性等特点,利用大模型捕捉气动数据中蕴含的复杂规律难度仍较大,未来可围绕空气动力学相关基础理论和人工智能领域迁移学习、小样本学习和多模态学习等模型算法加强探索,逐步解决上述难题。

(以上相关图的出处详见原文)

编辑排版:李  璐 


来源:风流知音
非线性化学气动噪声湍流通用航空UG通信UM声学理论人工智能气象
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2025-03-20
最近编辑:12小时前
风流知音
博士 专注空气动力学、流体力学、固体...
获赞 124粉丝 94文章 258课程 2
点赞
收藏
作者推荐
未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈