新论文：基于大语言模型和生成式AI的剪力墙结构智能设计和优化系统

论文：Optimized Data Representation and Understanding Method for the Intelligent Design of Shear Wall Structures. Engineering Structures, 2024.链接：https://doi.org/10.1016/j.engstruct.2024.1185005分钟视频介绍 00前言 三千多万年前，一群生活在森林中的小瘦猴子，为了能更好的在丛林中识别出可以食用的水果，神奇的进化出了红绿蓝三色视觉。 图1 很多哺乳动物（比如猫和狗）都只能看见两种颜色这个神奇的技能，带来了整个哺乳动物灵长目的繁盛，最终导致了“恐怖直立猿”——人类的诞生。直到今天，五彩缤纷的图像仍然是人类获取信息的主要渠道。在结构设计领域，通过将人类的视觉能力与设计图纸精妙配合，实现了设计信息的高效精准表达。因此，在智能设计研究过程中，如何让计算机能像人类一样高效的“看懂”图纸，就成为一个核心研究内容。在5年前我们刚刚开始AI结构设计课题研究时，为了便于计算机学习设计图纸，我们将图纸中的不同信息通过不同颜色来表达，比如门标记为“蓝色”、窗标记为“绿色”、填充墙标记为“灰色”、剪力墙标记为“红色”（图2）。 图2 用不同颜色标记后的设计图纸这样简化后的图纸看着确实更加的清晰，把它交给AI去学习，貌似AI学习的效果也不错。但是，这个方法就是最好的选择么？图2是用不同颜色标记后的图纸，对于将颜色作为获取信息的主要途径的碳基生物——比如人类——而言，是非常友好的。但是AI不是碳基生物，它是硅基的啊！那图2的图纸在AI的硅基视觉中，是个啥玩意呢？表1给出了各构件的颜色代码的RGB数值，硅基视觉需要根据这些RGB数值，来判断不同构件之间的关系。例如，门与隔墙在空间中的欧氏距离约为224，而门与剪力墙在空间中的欧式距离约为361。这就让AI有了一个先验知识：相比起剪力墙而言，门和隔墙的关系是更接近的。这样就可能会严重误导AI的学习过程。表1 结构构件对应的颜色 由此可见，我们基于碳基生物视觉，选定的基于颜色的图纸信息表达方法存在先天不足。那有没有办法构建一个适合硅基视觉的图纸表达模式呢？在这里，我们首先要打破两个“碳基生物”认识上的桎梏。第一个桎梏是“颜色”。计算机的“硅基视觉”中，颜色也好，图片也好，本身是没有任何意义的。对于“硅基视觉”而言，所有的图片，都只是一串数组。只不过数组的前两位是像素点的X和Y坐标，后面的数字（比如RGB颜色），其实都是一串描述这个像素点特性的参数。因此，“硅基视觉”根本不需要经历将“红色”翻译成“剪力墙”这个多此一举的过程，一个像素点坐标后面可以直接给定这个像素点代表的特征，这个特征可以是颜色，也可以是这个像素点代表的构件类型（剪力墙、门、窗等），还可以是设计的条件（比如八度设防、二类场地等）。第二个桎梏是“维度”。“碳基视觉”的基础是二维的图像，然后通过视觉加工形成三维世界。对于“碳基视觉”而言，三维以上的世界是很难想象的。但是对于“硅基视觉”而言，维度完全不是问题，计算机可以处理任意维度的问题。所以，图2将不同的构件描述成不同的“颜色”，计算不同颜色RGB数值之间的距离，本质上还是一个二维或三维思维的桎梏。其实完全可以对每种构件、每种设计类型构建一个空间维度，然后让AI学习N维空间中的欧氏距离，从而彻底摆脱表1中错误先验知识导致的学习障碍。 于是乎，我们就可以把各种结构构件、设计条件，都构造成一个0-1张量矩阵，让AI学习这些N维的张量矩阵对最终设计结果的影响，从而可以彻底解决“碳基视觉”导致的问题，充分发挥“硅基视觉”的本质优势，如图3所示。 图3 处理为0-1张量矩阵后的设计图纸这里再稍微多说一句，此前系里教学讨论会上提出一个问题：如何在AI年代培养学生的“计算思维”。我想这个案例就是一个很好的例子。“计算思维”一个很重要的内容就是让学生学会如何以最适用于计算机的方式来处理问题，而不是局限于人的能力特征。龙驭球先生在几十年前就总结出了“手算怕烦、电算怕乱”的规律，这就是一个非常好的计算思维的案例。可惜在现在这个电算已经非常发达的时代，很多很好的研究成果却往往以“计算公式太复杂”而被放弃，这个就不太符合“计算思维”的特征。01太长不看版本 针对RGB图像表征的不足之处，提出面向AI更好学习的特征空间表征方式，使得AI更容易理解建筑构件之间的相关性和差异，即面向剪力墙结构智能设计的数据表征与理解的优化方法。具体包括：一种基于构件的特征空间数据表征方法，实现建筑结构构件相关性特征更准确的表达；引入特征掩码（mask）定位生成剪力墙的关键目标区域，提升关键位置注意力；构建同时包含全局和局部判别器的GAN网络架构，增强对整体和局部数据特征映射生成关系上的理解能力。分析表明，相较于RGB图像表达的GAN智能设计方法，基于所提出的数据表征和理解学习的GAN模型设计在与工程师设计一致性和关键力学指标上表现更加优异。02研究背景 本研究，只办三件事儿！ 03研究方法 （1）基于构件的特征空间图纸表征方法图4为本文提出的基于特征空间的图纸表征与增广方法，以实现对图纸和设计条件的有效表征。如图4(a)所示，该二阶张量用以表征建筑图中的某位置是否布置对应构件，若布置，则对应构件的二阶特征张量在该位置处的值为1（黑色），否则为0（白色）。同时，将有序且连续的设计条件，如高度等，归一化后复 制扩维至与构件特征张量相同大小的条件张量；无序的离散设计条件，如材料类型、抗震设防烈度等，则映射为一个稀疏张量，复 制扩维后得到与构件特征张量相同大小的条件张量，如图4(b)所示。利用该方法不仅可以使网络更精确地捕捉图纸中各构件的空间位置关系，而且兼容性更强，适用于各种类型的建筑图纸。 图4 基于特征空间的图纸表示与增强方法（2）引入特征掩码（mask）的AI注意力集中本研究引入mask 张量以准确定位建筑图中剪力墙的可能布置位置，从而将网络的优化重心集中在目标区域，以提升特征的稠密度。Mask tensor的获取方式如式(1)所示： 式中，表示隔墙特征张量和剪力墙特征张量的并集。基于图纸的特征空间表征与设计条件，模型的生成器的input tensor (xG)、全局判别器的input tensor (xDG)、局部判别器的input tensor (xDL)的获取方式分别如式(2)-(5)所示： 式中，表示串联运算符，表示Hadamard 积算子。（3）基于特征掩码的双判别器生成对抗网络的构建基于特征掩码的双判别器生成对抗网络架构如图5所示。本研究在GAN网络的基础上引入了两个基于卷积神经网络的全局判别器和局部判别器。全局判别器的输入如式4所述，除生成器的输出外串联了其他全部输入的约束，以从全局角度指导网络如何合理地布置剪力墙。局部判别器的输入如式5所述，除生成器的输出外仅串联了建筑墙的特征张量，以帮助生成器关注各个局部位置上剪力墙和建筑墙的相对位置关系。 图5 基于特征掩码的双判别器生成对抗网络架构04对比分析 为探究基于特征空间的图纸表示方法、特征掩码和两个判别器对模型结果的影响，本研究共进行了10组实验，得到如下实验结论：1） 相较于基于RGB特征空间，基于构件的特征空间图纸表征更有利于模型对剪力墙布置任务的学习，如图6所示； 图6 基于特征空间与RGB颜色表征的AI设计对比2） 加入特征掩码可以使模型的注意力集中在数据的目标区域，防止模型过度关注与任务无关的区域，提高模型对数据特征的理解和学习效率，如图7所示； 图7 是否使用掩码的AI设计对比3） 加入local 判别器后模型对建筑墙和剪力墙相对位置的学习效果更佳，提升了网络对于剪力墙在整体建筑结构中的合理布局的理解能力，如图8所示。 图8 使用双判别器与单一判别器的AI设计对比05案例研究 本节选择了三个具有不同设计条件的典型案例，与广泛使用的StructGAN和工程师设计在平面布局、力学性能和材料消耗等方面进行了比较分析。为保证文章简短易读，本文选取其中一个例子进行说明，需注意的是，所有例子得到的结论均一致。5.1 平面布置对比典型案例的设计结果和与工程师设计的交并比如图9所示。实验结果显示，本研究提出的模型与工程师设计之间相似性较高，且能有效避免短肢剪力墙、冗余布置等问题。 图9 典型案例的设计结果和与工程师设计的交并比5.2 力学性能对比通过PKPM分析，得到设计的关键力学性能指标，分别如表2，图10所示。三者整体指标均符合要求，但相较于StructGAN，本研究模型生成的结构设计与工程师设计在绝大多数指标上的差异均显著减小，且在X和Y两个方向的结构刚度非常接近、层间变形基本一致。说明本研究数据表征和理解的优化方法可以使模型有效的捕捉训练集中隐含的工程师设计经验，从而使模型生成更符合实际经验和标准的剪力墙布置方案。表2 典型案例结构动态特性及力学响应分析结果 图10 典型案例结构层间位移角5.3 材料用量对比通过基于PKPM统计三种剪力墙布置方案的混凝土和钢筋材料用量，结果如表3所示。可以看出本研究模型生成的结构布置方案的材料用量则更接近与工程师设计，能够在减少材料用量的前提下有效满足整体指标的要求。表3 典型案例的材料消耗以及与工程师设计的差异 --End-- 相关论文Liao WJ, Lu XZ, Huang YL, Zheng Z, Lin YQ, Automated structural design of shear wall residential buildings using generative adversarial networks, Automation in Construction, 2021, 132, 103931. DOI: 10.1016/j.autcon.2021.103931.Lu XZ, Liao WJ, Zhang Y, Huang YL, Intelligent structural design of shear wall residence using physics-enhanced generative adversarial networks, Earthquake Engineering & Structural Dynamics, 2022, 51(7): 1657-1676. DOI: 10.1002/eqe.3632.Zhao PJ, Liao WJ, Xue HJ, Lu XZ, Intelligent design method for beam and slab of shear wall structure based on deep learning, Journal of Building Engineering, 2022, 57: 104838. DOI: 10.1016/j.jobe.2022.104838.Liao WJ, Huang YL, Zheng Z, Lu XZ, Intelligent generative structural design method for shear-wall building based on “fused-text-image-to-image” generative adversarial networks, Expert Systems with Applications, 2022, 118530, DOI: 10.1016/j.eswa.2022.118530.Fei YF, Liao WJ, Zhang S, Yin PF, Han B, Zhao PJ, Chen XY, Lu XZ, Integrated schematic design method for shear wall structures: a practical application of generative adversarial networks, Buildings, 2022, 12(9): 1295. DOI: 10.3390/buildings1209129.Fei YF, Liao WJ, Huang YL, Lu XZ, Knowledge-enhanced generative adversarial networks for schematic design of framed tube structures, Automation in Construction, 2022, 144: 104619. DOI: 10.1016/j.autcon.2022.104619.Zhao PJ, Liao WJ, Huang YL, Lu XZ, Intelligent design of shear wall layout based on attention-enhanced generative adversarial network, Engineering Structures, 2023, 274, 115170. DOI: 10.1016/j.engstruct.2022.115170.Zhao PJ, Liao WJ, Huang YL, Lu XZ, Intelligent beam layout design for frame structure based on graph neural networks, Journal of Building Engineering, 2023, 63, Part A: 105499. DOI: 10.1016/j.jobe.2022.105499. Zhao PJ, Liao WJ, Huang YL, Lu XZ, Intelligent design of shear wall layout based on graph neural networks, Advanced Engineering Informatics, 2023, 55, 101886, DOI: 10.1016/j.aei.2023.101886Liao WJ, Wang XY, Fei YF, Huang YL, Xie LL, Lu XZ*, Base-isolation design of shear wall structures using physics-rule-co-guided self-supervised generative adversarial networks, Earthquake Engineering & Structural Dynamics, 2023, DOI:10.1002/eqe.3862.Feng YT, Fei YF, Lin YQ, Liao WJ, Lu XZ, Intelligent generative design for shear wall cross-sectional size using rule-Embedded generative adversarial network, Journal of Structural Engineering-ASCE, 2023, 149(11). 04023161. DOI:10.1061/JSENDH.STENG-12206.Fei YF, Liao WJ, Lu XZ*, Guan H*, Knowledge-enhanced graph neural networks for construction material quantity estimation of reinforced concrete buildings, Computer-Aided Civil and Infrastructure Engineering, 2023, DOI: 10.1111/mice.13094.Zhao PJ, Fei YF, Huang YL, Feng YT, Liao WJ, Lu XZ*, Design-condition-informed shear wall layout design based on graph neural networks, Advanced Engineering Informatics, 2023, 58: 102190. DOI: 10.1016/j.aei.2023.102190.Fei YF, Liao WJ, Lu XZ*, Taciroglu E, Guan H, Semi-supervised learning method incorporating structural optimization for shear-wall structure design using small and long-tailed datasets, Journal of Building Engineering, 2023, DOI：10.1016/j.jobe.2023.107873Liao WJ, Lu XZ*, Fei YF, Gu Y, Huang YL, Generative AI design for building structures, Automation in Construction, 2024, 157: 105187. DOI: 10.1016/j.autcon.2023.105187Zhao PJ, Liao WJ, Huang YL, Lu XZ*, Beam layout design of shear wall structures based on graph neural networks, Automation in Construction, 2024, 158: 105223. DOI: 10.1016/j.autcon.2023.105223Qin SZ, Liao WJ*, Huang SN, Hu KG, Tan Z, Gao Y, Lu XZ, AIstructure-Copilot: assistant for generative AI-driven intelligent design of building structures, Smart Construction, 2024, DOI: 10.55092/sc20240001Gu Y, Huang YL, Liao WJ, Lu XZ*, Intelligent design of shear wall layout based on diffusion models, Computer-Aided Civil and Infrastructure Engineering, 2024, DOI: 10.1111/mice.13236Fei YF, Liao WJ, Zhao PJ, Lu XZ*, Guan H, Hybrid surrogate model combining physics and data for seismic drift estimation of shear-wall structures, Earthquake Engineering & Structural Dynamics, 2024, DOI: 10.1002/eqe.4151来源：陆新征课题组