计算机能否读懂一本规范？| 新论文：基于文本分类的建筑领域规范文本机器可读性评估与提升

DOI：https://doi.org/10.1016/j.engappai.2023.107207

50天免费访问链接：https://authors.elsevier.com/a/1htjT_LfeK6udF

让计算机读懂建筑结构规范文本是实现建筑结构智能设计与智能建造的关键环节之一。那么，让计算机完全读懂一本规范究竟有多难？怎样才能提升计算机理解工程设计规范的能力呢？

为了回答以上问题，本研究从单个条文及整体规范文档两个层面提出了建筑结构规范机器可读性的定量评价指标；并以团队研发的建筑领域大语言模型为基础（试用网址：ai-structure.com：土木工程自然语言规则AI解译模块上线测试），建立了基于文本分类的规范机器可读性自动评价与改进方法。试验表明，本方法可以高达96%的准确率判断规范条文的机器可读性，并可增强下游规范条文自动解译任务，性能提升4%。

基于上述方法，本研究对我国建筑结构、给排水、电气、暖通、消防等不同领域的150余本相关规范进行了分析。结果表明，其机器可读性位于10%至44%，总体平均值仅有34.4%。这意味着既有规范文本仅有约三分之一的内容可由计算机自动解析和推理，让计算机完全理解设计规范仍然任重道远。未来仍需开展大量工作，实现复杂设计规范知识的计算机完全可读与可用。

设计是保障建筑工程质量与效率的关键环节，设计质量的好坏对工程造价、工期、安全等有决定性影响。传统依赖人工的设计审查方式正逐渐成为制约设计质量与效率的瓶颈，自动规则审查的重要性也越来越凸显，自动规则解译作为其中关键的一环得到了广泛的研究。但是，现有的研究主要是基于手工或半自动的方式分析单个条文的机器可读性。很少有研究分析整个建筑规范的机器可读性，以便对现有建筑规范进行优化和修订。

为了更好地评估现有建筑规范的机器可读性，本文提出了一种基于文本分类的机器可读性自动评估方法。

首先，提出了一种适合评估每个条文机器可读性的类别标准，并根据提出的类别标准构建了一个训练数据集。

其次，训练了一个利用迁移学习技术的深度学习模型RuleBERT，用于自动对每个条文进行分类，该方法优于广泛使用的传统深度学习模型。

最后，我们提出了一种基于RuleBERT模型对整个建筑规范进行机器可读性评估的方法，并将其应用于一系列中国建筑规范的整体机器可读性评估。整体研究流程如图1所示。

研究结果表明，所选择的150多部中国建筑规范平均机器可读性只有34.40%，该结果与相关学者人工评估结果相近。该结果还说明将整个法规文件完全转化为计算机可处理的格式仍然很困难。为了进一步提高建筑规范的机器可读性，领域专家的知识、强大的算法、更丰富的数据集及小样本问题是未来需要关注的研究重点。

图1 整体研究流程

首先提出了用于衡量条文机器可读性的分类标准，如表1所示。然后基于该类别标准构建了用于模型训练的数据集。采用BERT模型进行训练，并利用领域语料库采用MLM（Masked language model）来增强模型在小样本情况下的性能，如图2所示。最后，对模型进行微调，以更好地适应下游文本分类任务，基本训练过程如图3所示。

表1 条文的类别及机器可读性

各文本分类模型的性能如图4所示，原始的BERT模型比其他传统的深度学习模型性能好，增强的BERT模型（即RuleBERT）的性能比原始BERT模型更好。

图4 在文本分类数据集上获得的加权F1分数

将训练好的分类模型和所提出的条文级机器可读性评估方法集成到自动规则解译方法中，以提高自动解译的性能。利用课题组之前提出的语法树结构和自动规则解译方法对《建筑防火设计规范》（GB 50016–2014）中的主要条文进行解译（包含不可解译条文）。利用训练好的RuleBERT进行文本分类操作之后再次对条文进行解译，结果的准确率从68%提高到了72%，如表2所示。

要注意的是，此前有关算法性能评测均在人工筛选出的机器可解译条文数据集上进行性能评测，而本实验则直接在原始条文数据集上进行性能评测。由于原始数据包括不可解译条文，因此成功解译的比例看起来较低。

表2 规则解译算法性能提升情况

基于前述条文级可读性分类标准，本研究将7种条文类别分为3组，如表3所示。并在此基础上，提出一个评估建筑规范文档级机器可读性的定量指标，计算公式如下：

表3 文档级机器可读性评价指标

结合训练好的分类模型对中国150多部建筑规范进行机器可读性评估分析，包括结构、给排水、电气、暖通、消防等领域，如表4所示，总体平均机器可读性为34.40%，评估结果与专家人工评估的结果吻合良好，验证了我们方法的合理性。其中，消防领域建筑规范可读性最高。此外，不同层面的规范机器可读性排名为GB （The national level，国家标准）> HB （The industrial level，行业标准）> DB（The local level，地方标准）。

表4 不同领域建筑规范的机器可读性

对防火领域的建筑规范文档级机器可读性进行评估，结果如表5所示。当一个建筑规范的机器可读性值大于50%时被定义为高度可解译的规范，根据表中信息可以得到不同层面的消防领域规范机器可读性排名为GB>HB>DB。

表5 消防领域规范的可读性

本研究提出了一种新的方法，来自动评估和提高单个条文和建筑规范的机器可读性，以便对现有建筑规范进行优化和修订，促进自动规则解译的研究和应用，主要结论可以总结如下：

（1）本文基于对中国设计规范和BIM模型数据结构的研究，提出了一种基于条文的分类标准，基于该标准标注构建了一个用于深度学习模型训练的文本分类数据集。构建的数据集已经开源（访问链接：https://github.com/SkydustZ/Text-Classification-Based-Approach-for-Evaluating-and-Enhancing-Machine-Interpretability-of-Building/tree/main/CivilRules/dataset），可以用于训练和测试，为自动规则审查的发展做出贡献。

（2）采用了一种预训练方法，有效解决了小样本问题，得到了RuleBERT模型，可以更好地适应文本分类的下游任务，训练代码和训练好的模型已经开源（访问链接：https://github.com/SkydustZ/Text-Classification-Based-Approach-for-Evaluating-and-Enhancing-Machine-Interpretability-of-Building），可以提高文本分类的准确性，促进自动规则解译的广泛应用。

（3）对《建筑防火设计规范》（GB 50016–2014）中的条文进行解译，实验结果表明，当使用提出的方法时，条文级自动规则解译的准确率提高了4%。

（4）提出了一个文档级机器可读性评估指标，完成了两个评估任务。首先，评估了不同领域和不同层面中国建筑规范的机器可读性。其次，评估了消防领域建筑规范的机器可读性。这是第一次大规模对中国建筑规范进行机器可读性评估，可以为现有规范的优化和修订提供指导。

本研究是对规范机器可读性大规模评估的一次初步尝试，由于数据和方法局限，尚存在诸多不足，敬请各位专家批评指正！

---End---