Longformer模型向ChatGPT模型的进化---对答岩石边坡问题

1 引言

本文是对【Longformer---回答问题长文本的Transformer】的更新，那篇文章写于2021年8月，使用了当时最新的技术Longformer模型(GPT-2)产生问答，现在基于GPT-3的ChatGPT模型出来了，因此本文着重比较了Longformer模型与ChatGPT模型在对答问题时产生的一些变化。

2 Longformer回顾

在深度学习模型的帮助下，从数据中实现人类水平的预测已经有了很大的改进。由于在用参考文件回答问题方面有着广泛的应用，因此NLP中的问题回答子领域很流行，解决这个问题的方法是使用一个数据集，该数据集由输入文本、查询以及输入文本中包含查询答案的文本段或跨段组成。

Transformers架构是在论文《 Attention is All You Need 注意力是你所需要的》中提出的。编码器(encoder)对输入文本进行编码，解码器(decoder)对编码进行处理，以理解序列背后的上下文信息。堆栈中的每个编码器和解码器都使用一个注意力机制，将每个输入与其他每个输入一起处理，以权衡它们的相关性，并在解码器的帮助下生成输出序列。注意力机制能够动态地突出和理解输入文本的特征。

谷歌研究院的BERT(Bidirectional Encoder Representations from Transformers)模型基于Transformers架构，BERT模型在BookCorpus上进行了预训练，该数据集由11,038本未出版的书籍和英文维 基 百 科组成(不包括列表、表格和标题)。最流行的问题回答数据集是SQuAD，SQuAD数据集包含大约15万个问题。在<阅读理解回答问题(Question Answering)---一个更强的BERT预训练模型>和<Transformers之问题对答(Question Answering)>中, 共采用了三个预训练Bert模型，这些模型是SQuAD数据集在Transformers架构下预训练形成的:

(1) mrm8488/bert-multi-cased-finetuned-xquadv1

(2) bert-large-uncased-whole-word-masking-finetuned-squad

(3) ktrapeznikov/albert-xlarge-v2-squad-v2

不过, 这些模型都使用了512个标记(token)序列, 当处理长文本超出这个限制时，就会发生错误，因而我们必须使用Longformer代替标准的Bert模型。Longformer在长文档任务中的表现优于其他大多数模型，可以明显减少内存和时间的复杂度。长文本的预训练模型使用

valhalla/longformer-base-4096-finetuned-squadv1，这个模型基于SQuAD v1进行了微调, 可以处理最多4096个标记的序列。经过多次测试发现，对应的文本尺寸应该不能大于19k.

第二个问题是"Please explain Longformer model", 它给出的回答如下：

"Longformer是一种基于transformer的语言模型，它被专门设计为能够处理很长的输入序列。这是通过使用全局注意力机制和局部注意力机制的组合来实现的，这使得该模型能够有选择地关注输入序列的不同部分，使得Longformer在长篇语言任务(如文档分类和机器翻译)上达到最先进的性能。"

4 问答测试

使用了与【Longformer---回答问题长文本的Transformer】相同的6个问题在ChatGPT中进行了测试。

(1) 问题1: What is the numerical modelling approaches for rock slope analysis?

问题1问了岩石边坡稳定性分析的数值模拟方法有哪些？Longformer给出的回答是: "finite element and the finite difference methods"有限元和有限差分法。ChatGPT给出了相似的回答："Some common approaches include finite element analysis (FEA), discrete element analysis (DEA), and distinct element method (DEM). These methods use mathematical equations to simulate the behavior of the rock mass and help engineers predict the stability of the slope." 

(2) 问题2: What is the most popular codes for rock slope analysis? 

问题2问了岩石边坡分析最流行的软件有哪些？Longformer的数据集预置了答案，因此回答为Phase2 and RS3；ChatGPT拒绝回答这个问题：

"很抱歉，我没有能力浏览互联网，以提供关于最流行的岩石边坡分析程序的信息。作为一个由OpenAI训练的大型语言模型，我的知识完全基于输入给我的文本，我没有能力浏览互联网或获取外部信息。我只能提供有关岩石边坡分析的一般信息和所使用的不同的数值模拟方法。"

(3) 问题3: Where is Chuquicamata mine?

问题3问了Chuquicamata的位置，Longformer对这个问题的回答是错误的，它给的回答是"major joints sets, shear planes and fault planes", 没有正确识别出位置信息。ChatGPT则拒绝回答，它说可以提供有关采矿工业的一般信息，但无法提供有关特定采矿位置的具体细节。 

(4) 问题4: What is fracture propagation paths?

问题4问了断裂传播途径，Longformer给出的回答是: "ability to consider intact rock deformation and movements, complex hydro-mechanical and dynamic analyses, and additional insight into identification of potential instability mechanisms"，这个回答尽管

给出了与断裂传播相关的一些方法，但确实不是我想要的答案。相比之下，ChatGPT给出了相对合理的解释："Fracture propagation refers to the process by which a crack or fault in a material or structure grows and extends over time. The path of this growth is known as the fracture propagation path. This path can be influenced by a variety of factors, such as the geometry and stress state of the material, the presence of defects or imperfections, and the material's mechanical properties. Understanding the fracture propagation path is important for predicting the behavior of materials and structures, and for designing them to be resistant to failure."断裂扩展是指材料或结构中的裂纹或断层随时间增长和扩展的过程。这种增长的路径被称为断裂扩展路径。这一路径可能受到多种因素的影响，如材料的几何形状和应力状态，缺陷或瑕疵的存在以及材料的力学属性。了解断裂传播路径对于预测材料和结构的行为，以及设计它们的抗破坏性是很重要的。"

(5) 问题5: How to simulate step-path brittle fracture?

问题5问了如何模拟阶梯式脆性断裂，Longformer给出了非常具体的方法："using a simplified discrete fracture network (DFN) model coupled with a Voronoi polygonal mesh approach", 使用DFN耦合Voronoi，其实单独使用这两种方法也可以模拟岩体的阶梯式脆性断裂；ChatGPT给出了一个概念性的解释，提到了使用有限元FEA进行模拟，不过普通的有限元方法不能模拟阶梯式断裂过程。

(6) 问题6: What is the toppling failure?

问题6问了什么是倾倒破坏，Longformer给的回答是标准的岩石力学中的倾倒破坏: "rotation of columns or blocks of rocks about some fixed base"，而ChatGPT给出的则是结构工程的一般解释："Toppling failure is a type of structural failure in which a structure or component is displaced from its foundation or support and falls over. This type of failure is common in structures that are tall and slender, such as bridges, towers, and buildings. Toppling failure can be caused by a variety of factors, such as wind loads, seismic activity, and the weight of the structure itself. Toppling failure can be difficult to predict and can have serious consequences, so it is important to design structures to be resistant to this type of failure." 倾到破坏是一种结构性破坏，即一个结构或部件从其基础或支撑上移位并倾覆。这种类型的破坏在高大细长的结构中很常见，如桥梁、塔和建筑物。倾倒破坏可由多种因素引起，如风荷载、地震活动和结构本身的重量。倾倒失败很难预测，而且会产生严重的后果，所以设计结构以抵抗这种类型的破坏是很重要的。