1.中国空气动力研究与发展中心,绵阳 621000
2.空天飞行空气动力科学与技术全国重点实验室,绵阳 621000
3.国防科技大学 计算机学院,长沙 410073
模型架构影响着模型解决问题的能力,而模型架构与数据结构、问题内在机理的适配程度决定着这一能力的上限。对于空气动力学领域,关注的对象是气动外形、外形附近的流体运动以及气动外形与流体的相互作用,发展空气动力学领域大模型,关键在于能否提出最大程度容纳领域知识、符合领域数据特点的模型架构。
生成式AI是近年来深度学习领域发展最为迅猛的方向,是在已有数据、知识归纳基础上学习数据所代表的联合概率分布,然后再基于这一概率空间根据用户需求和提示进行新内容的生成。
反馈对齐是生成式AI的关键技术,其作用是检验AI的输出与期望的结果相匹配,避免产生偏见或其他不符合人类意图和价值观的输出,具体包括技术对齐、伦理对齐、法律对齐和社会对齐等。科学计算生成式模型的对齐和大语言模型、“文生图”大模型的对齐存在一定的差别,主要体现在:
一是在对齐内涵方面,大语言模型、“文生图”大模型的对齐更强调伦理、法律和社会价值观的对齐,而科学计算生成式模型通常更注重物理规律及技术领域的对齐。
二是在对齐形式方面,大语言模型、“文生图”大模型的技术对齐是概念、语法上的对齐,更重视定性符合,而科学计算生成式模型的对齐则要求生成结果与提示数据间定量符合。
三是在反馈方式方面,通用大模型通常需要人工进行标注,再使用基于人类反馈的强化学习技术将人类反馈嵌入训练过程,从而增强模型对人类意图的理解和满足程度;而科学计算生成式模型的反馈,需要耦合面向生成对象的专业数值计算或定量分析工具,再将计算结果反馈到训练过程。
图 2 一种嵌入人类反馈的空气动力学领域大模型结构图
因此,空气动力生成式模型反馈对齐的关键技术主要是:
1) 传统CFD有效融入智能计算的技术。为了在反馈对齐过程中对生成对象的气动特性进行高效准确评估,可采用CFD技术对生成对象的气动特性进行计算。这一方面需要基于AI生成的外形自动构建计算网格,以气动设计大模型为例,若AI模型输出的是非网格形式的数据(例如点云、体素等),需要通过某些手段将其转为可计算的网格形式;另一方面还需要在大模型训练的智能计算框架下嵌入CFD流场解算工具,由于传统的CFD流场求解主要基于高性能计算平台实现,智能模型训练主要基于智能计算平台实现,二者并行计算模式存在一定差异,为了保证计算效率,需要对“高性能计算+智能计算”的混合计算架构进行优化。
2) 创新气动布局的检测与反馈。生成新颖的气动外形是工程领域构建生成式气动布局设计大模型的主要动机之一,其本质是基座模型或预训练模型中的一些关键特征在生成时以一定概率得以体现、并组合生成有意义且符合期望的新颖设计。在生成过程中,对新颖设计的有效性进行检测并将结果融入训练的梯度反传过程是一项关键技术,可考虑采用2种技术路线实现:一是预先构建气动布局智能分类模型,快速识别具有新颖拓扑结构的布局;二是借助气动性能进行判断,即利用已有数据样本预先训练气动特性智能预测模型,并将其接入大模型,在反馈对齐时将其输出的预测结果与上段提到的CFD评估结果进行对比,若差异显著则表明可能出现了具有新拓扑结构的气动布局。
3) RAG(Retrieval-Augmented Generation)技术推广应用于科学大模型的反馈对齐。RAG技术是一种用于解决LLM偏见、幻觉和时效性的技术,其核心是外挂知识库,通过检索外部知识库来获得高质量的问答对(语料),并使用上下文学习来改进LLM生成效果的方法,可有效克服LLM在面对幻觉、最新知识和复杂任务时能力不足的问题。该技术不仅适用于LLM,还适用于科学大模型,通过构建空气动力学领域知识库,在生成过程中融入气动规律和专家设计经验作为提示或约束,可提高生成对象的有效性。
大规模高精度数据是构建大模型的基础,但空气动力学领域数据样本总量少、单个样本规模大,精度且格式各异。因此,为构建满足预期的空气动力学领域大模型,需要解决训练数据生成方面的三个问题:
一是历史数据的清洗与补全。针对一些信息不完整的数据,可通过数据融合技术进行补全,例如,对于只有气动力数据没有压力载荷数据的情况,可以通过学习CFD气动力数据与压力数据之间的关联关系建立气动力数据与压力载荷数据之间的映射模型,进而实现由气动力试验数据重建压力载荷数据。
二是面向样本多样性和覆盖性需求的数据补充。虽然高可信度的气动数据样本较少,但希望这些小样本数据具有足够的代表性,因此,对于一些重要的状态点,必须通过试验或计算方法获取训练数据。这是一个试验设计问题,可考虑采用正交/均匀试验设计方法或序贯试验设计方法实现样本点选取。
三是建立融合多源多可信度数据的复合网络模型。从不同来源数据间存在内在关联的理论入手,建立多保真度数据融合方法,即利用大量低可信度数据捕捉数据整体变化趋势,再利用少量高精度数据对整体进行修正,提升数据整体精度,从而获得大规模高质量数据集。还可借鉴现有多模态大LLM和视觉大模型等广泛应用的技术方法,结合气动数据特点实际,设计气动领域多模态数据融合架构,进一步提升训练数据规模和使用质效。
1) 构建空气动力学领域统一的预训练基础模型,支撑各类典型应用。目前,空气动力学领域仍然以直接构建垂直领域模型为主要研发模式,构建统一的预训练基础模型是未来研究重要方向。空气动力学研究空气流动及其与物体相互作用产生的现象与规律,因此可以考虑从流场和物体外形两个角度出发,构建预训练基础模型。
2) 气动领域专业大模型与知识库、LLM融合,提高科学发现效率。科学发现是“自发假设生成−试验−数据分析−规律发现”的过程,气动专业大模型与知识库、LLM融合,通过建立数据空间与语义空间的关联,可实现领域知识融入机器学习、高效自动推理,加速科学发现过程,提高科学发现效率。气动专业大模型与知识库、LLM具体融合的途径包含两方面:一是大语言模型对自然语言描述的问题和先验知识进行科学实体抽取和实体关系挖掘,得到结构化数据,再利用知识库进行推理,并将推理结果作为提示或约束融入专业大模型训练中;二是对训练得到的专业大模型进行分析研究,形成新的知识,例如,基于气动设计大模型,生成满足较高性能需求的创新布局,再对新布局的气动特性和流场进行分析,获得的规律可持续丰富现有的知识库,支撑更深更广的科学发现。
3) 构建气动领域智能体,支撑智能试验和具身智能飞行器研发。基于大模型的智能体(Agent)是人工智能发展的重要方向。智能体借助LLM专长的思维链推理能力,可自动化地决策并采取行动,直到完成用户设定的最终目标。其关键特征包括自治性、知觉、反应能力、推理与决策能力、学习能力、通信能力以及目标导向性,可通俗地理解为:Agent = LLM+规划(Planning)+反馈(Feedback)+工具调用(Tool Invoke)。因此,基于空气动力学领域大模型,结合LLM作为服务入口和工具软件调度枢纽,可构建气动试验智能体,实现试验方案设计、试验过程监控与运行控制、试验数据实时分析评估与试验任务重规划的全流程智能管理。
此外,对空气动力学领域大模型进行轻量化裁剪,部署到边缘设备,通常以LLM的Agent作为调度枢纽,结合其他感知大模型、决策大模型作为感知与决策工具,调用驱动发动机、舵机等外围硬件设备,可发展出具有自主飞行能力的具身智能飞行器。
大模型技术的应用将空气动力学领域研究推向了新的高地,其“大规模预训练+下游领域微调”的思想,可有效改善传统智能模型碎片化发展的现状,同时其强大的数据拟合能力,有望实现更深层次的数据挖潜,再次激发历史累积数据的价值。但是,仍需清楚认识到空气动力学领域大模型的研究和应用仍处于起步阶段,已有成果大多借鉴了计算机领域通用技术,探索发展本领域适用的模型架构将是未来研究重点。
另外,由于大模型构建需要依赖大量训练数据,但气动领域数据呈现样本少、规模大、模态多、获取成本高、高维非线性等特点,利用大模型捕捉气动数据中蕴含的复杂规律难度仍较大,未来可围绕空气动力学相关基础理论和人工智能领域迁移学习、小样本学习和多模态学习等模型算法加强探索,逐步解决上述难题。
编辑排版:李 璐