生成式人工智能和计算力学的交叉研究
基于diffusion模型和transformer深度神经网络的新化学设计生成发现及其在深共晶溶剂中的应用
摘要：
我们报道了一系列深度学习模型，用于解决分子建模和设计中复杂的正向和反向设计问题。使用受非平衡热力学启发的扩散模型和基于注意力的变换器结构，我们展示了一种捕捉复杂化学结构的灵活框架。首先在QM9数据集和一系列量子力学性质（例如，同质、发光、自由能和热容）上进行训练，然后我们将模型推广到研究和设计深共晶溶剂（DESs）的关键性质。除了单独的正向和反向模型外，我们还报告了一个集成的完全基于提示的多任务生成预训练transformer模型，该模型灵活地在一个模型内解决多个正向、反向设计和预测任务。我们表明，多任务生成模型具有总体最佳性能，并允许在一个模型内灵活集成多个对象，并允许不同的化学成分，这表明在这种大型语言模型的训练过程中会出现协同效应。在与QM9数据集和DESs相关的任务中联合训练，该模型可以预测各种量子力学性质和临界性质，以实现深共晶溶剂行为。基于这一框架，提出了几种DESs组合。
图：使用生成式深度学习生成分子结构的方法。（a） 所用方法概述，包括样本设计目标。（b） 扩散模型，（c）自回归变换器模型，在几个版本中实现，（d）和（e）显示了使用模型解决的任务。
图：比较设计目标、基本事实与预测。
图：使用逆扩散模型修复策略的结构发现实验。
文二：
MeLM，一个生成的预训练语言建模框架，用于解决正向和逆向的力学问题
摘要：
我们报告了一个灵活的多模态力学语言模型MeLM，用于解决各种非线性正演和反演问题，该模型可以处理一组指令、数字和微观结构数据。该框架应用于各种实例，包括受生物启发的分层蜂窝设计、碳纳米管力学和蛋白质展开。尽管该模型具有适应性，使我们能够轻松地结合不同的材料、尺度和机械特征，但它在不同的正向和反向任务中表现良好。基于自回归注意力模型，MeLM有效地代表了一个由数亿个神经元组成的大型多粒子系统，其中通过图形形成的自注意力机制来发现相互作用电位，然后利用训练数据中发现的协同效应，将其用于从涌现的结构中识别关系。我们表明，该模型可以解决复杂的退化力学设计问题，并在一系列层次上确定新的材料结构，为材料的发现和分析提供了途径。为了说明更广泛可能性的用例，我们概述了一个人机交互MechGPT模型，该模型在维 基百科上训练了1103篇与力学相关的文章，展示了通用框架如何不仅用于解决正向和反向问题，而且用于复杂的语言任务，如摘要、新研究概念的生成和知识提取。除了本文中介绍的演示之外，我们还讨论了应用力学中的其他机会，以及在建模、设计和分析中使用大型语言模型的一般考虑，这些模型可以涵盖从机械、热学、光学到电子的广泛材料特性。
图：概述了本文所解决的总体问题，并详细介绍了本文所研究的力学问题，包括分级蜂窝、碳纳米管和蛋白质。
图：本研究中实施的MeLM模型概述。
图：用于编码微观结构设计的策略。
图：本研究中使用的transformer架构概述。
图：对于未包括在模型的训练中的微观结构的测试集，使用基因载体编码策略来解决反向任务并将设计的本构行为与期望的响应进行比较。
图：蛋白质展开力学的分析与设计。
文三：
基于渐进的transofrmer扩散模型的原子动力学断裂机制建模
摘要：
动态断裂是材料分析的一个重要领域，评估材料随时间失效的原子级机制。在这里，我们专注于脆性材料的失效，并表明原子推导的渐进transformer 扩散机器学习模型可以有效地描述断裂的动力学，捕捉裂纹动力学、不稳定性和萌生机制等重要方面。该模型在一个小的原子模拟数据集上进行了训练，具有良好的泛化能力，并为复杂几何形状的动态断裂机制提供了快速评估，远远超出了原始的原子模拟结果集。提出并分析了各种验证案例，这些案例与用于训练的数据越来越不同。验证案例具有不同的几何细节，包括由生成神经网络生成的微观结构，该网络用于识别新型仿生材料的机械性能设计。在所有情况下，该模型都表现良好，并捕捉到了材料失效的关键方面。
图：论文中报告的结果的总体工作流程，使用渐进transformer扩散模型。
图：分子动力学（MD）模拟设置（a）和MD模拟的样本结果，用于构建训练集（b）和（c）。
图：本研究中使用的神经网络架构概述，其中将微结构编码器馈送到两个连续的U-Net。
图：样本神经网络预测结果以及与MD模拟获得的地面实况的比较，用于验证数据。
图：测试模型对训练过程中未发现的多个裂纹情况的预测能力。
图：作为进一步的分析，我们分析了所有有效情况下势能场的统计数据。
图：分析更复杂的验证案例；为最终帧显示的分析。这里考虑的输入微观结构与训练集中的裂纹类型有很大不同。尽管如此，该模型在断裂动力学和损伤起始位置方面做出了很好的预测和一致性。
图：一个验证案例的断裂动力学详细分析。
Modelling atomistic dynamic fracture mechanisms using a progressive transformer diffusion model.pdf
文四：
MechGPT，一种基于语言的力学和材料建模策略，跨尺度、学科和模式连接知识
摘要：
几个世纪以来，研究人员一直在寻找连接不同知识领域的方法。虽然早期的学者（伽利略、达等）是各个领域的专家，但专业化在后来才站稳脚跟。随着人工智能的出现，我们现在可以探索跨领域（如力学生物学）或不同领域（如失效力学艺术）的关系。为了实现这一点，我们使用了一个微调的大型语言模型（LLM），这里是多尺度材料失效的知识子集。该方法包括使用通用LLM从原始来源提取问答对，然后进行LLM微调。由此产生的MechGPT LLM基础模型用于一系列计算实验，以探索其知识检索、各种语言任务、假设生成和跨不同领域连接知识的能力。虽然该模型具有从训练中回忆知识的能力，但我们发现LLM对于通过本体论知识图提取结构见解特别有用。这些可解释的图结构提供了解释性见解、新研究问题的框架和知识的可视化表示，也可用于检索增强生成。讨论了MechGPT的三个版本，其参数大小从13*10^9到70*10^9不等，上下文长度超过10000个令牌。这为复杂的检索增强策略以及基于代理的建模提供了充足的能力，其中多个LLM协作和/或对抗性地交互，合并来自文献或网络搜索的新数据，以及多模态。
图：用于构建MechGPT的仅自回归解码器transformer架构概述。
图：此处使用的建模策略概述。
图：工作流程示意图。面板a显示了LLM调用的详细信息，包括系统提示、查询的上下文/背景、其他详细信息和其他信息，通常后面是问题或任务（如本文中的示例所示，查询可以采取多种不同的形式）。
图：MechGPT聊天应用程序的屏幕截图。
图：本体论知识图表示的发展，以关联超声速断裂和蛋白质展开机制中的超弹性。
图：本体论知识图形表示的发展，用于将韧性材料和音乐中的错位联系起来，特别是讨论对位的概念。
图：使用基于图的策略，我们可以使用LLM来开发本体论知识图中知识的图表示。
图：基于代理的建模，其中多个LLM以对抗性或互补性的方式进行交互，以相互进行对话。
文五：
用渐进transformer 扩散模型预测裂纹附近的力学场及其泛化能力的探索
摘要：
我们报告了一种深度学习方法，使用一类新的基于渐进注意力的transformer扩散模型，从材料微观结构预测高分辨率应力场。我们用从分子动力学（MD）模拟中获得的成对输入微观结构和由此产生的原子级Von Mises应力场的小数据集来训练模型，并显示出准确预测结果的卓越能力。我们进行了一系列计算实验来探索该模型的可推广性，并表明虽然该模型是在一个以多个裂纹样本为特征的小数据集上训练的，但该模型可以准确预测不同的断裂场景，如单个裂纹或形状非常不同的裂纹状缺陷。与MD模拟的比较在所有情况下都提供了与地面实况结果的极好比较。结果表明，在物理科学中使用渐进transformer扩散模型来产生高通量和高分辨率图像是一个令人兴奋的机会。
图：这里考虑的断裂力学问题的总结，特别关注原子级别的应力数据。
图：由三种U-Net架构组成的基于扩散的生成模型的神经网络架构概述。
图：基于测试微观结构（a）的预测，用于神经网络（B）中的三个不同阶段。
图：使用训练模型预测的验证案例，其中我们比较与训练集中包含的微观结构不同的微观结构。（A–D）分别显示了单个裂纹的结果，（E–H）显示了具有多个裂纹的系统的结果。
图：单个裂纹（顶部2）和多个裂纹（底部2）验证案例的额外比较。图的左列显示了Von Mises应力场的直方图，比较了实况和预测结果。
图：具有大量裂纹（25个不同尺寸的随机放置缺陷）的微观结构的应力场的详细分析。对所得应力场的仔细分析表明，该模型抓住了几个重要的断裂力学概念。（A） 大缺陷产生高应力集中，并且跨越多个大缺陷的渐进应力场连接以形成应力路径。（B） 较大的缺陷，但在加载方向上定向，往往会产生较小的应力集中（见标有B的两个“尖端”，每个尖端都不会产生显著的应力聚集）。C表示产生相对较小应力集中的小裂纹。标有D的区域描绘了裂纹尖端屏蔽的示例，而较大的相邻缺陷起到保护标有D的较小缺陷的作用。
Predicting mechanical fields near cracks using a progressive transformer diffusion model.pdf
如果你觉得此文对你有帮助，请点赞，谢谢！
计算机技术在科学&技术&工程&数学中得到了广泛的应用，力学方面，计算机技术成为了科学的第四次革命性技术，现在基于计算机的数据科学已经逐步成为力学等其他科学发现的第四范式。人工智能、大数据、数字孪生等概念已经逐步成为当今时代的主题。智能制造、智能算法、数据驱动力学、大语言模型、自动驾驶在当今社会展现出巨大潜力，吸引了大量的研究人员。同时高性能显卡和多核中央处理器的出现为大规模数值模型的高性能计算提供了强大算力。然而因为该领域的论文较多，涉及内容较广，需要的知识量较大，不仅需要力学，数学，物理的知识，还需要计算机、数据科学、大数据分析的知识。
