GeotechSet模型的扩展和优化---集成了aitextgen
1 引言
《GeotechSet数据集在GPT2上的训练过程》训练出一个Geotechset试验模型， 使用了仅450k的原始数据集，在此基础上，把原始数据扩到了目前的5.3M进行了试验，数据范围仍然集中在岩石工程。这个笔记回顾了参数的设置和生成的结果。
2 训练参数设置
与上一个版本相比，这个版本把训练循环次数num_train_epochs的数值由原来的3改为4，这将增加结果的可靠度，其它参数没有改变。完整的输入参数如下：
--output_dir=mwu
--model_type=gpt2
--model_name_or_path=gpt2
--do_train --train_data_file=./input.txt
--per_device_train_batch_size=2
--dataloader_num_workers=1
--block_size 256
--save_steps 5000
--num_train_epochs=4
训练过程的参数总结如下:
Num examples = 5250
Num Epochs = 4
Instantaneous batch size per device = 2
Total train batch size (w. parallel, distributed & accumulation) = 2
Gradient Accumulation steps = 1
Total optimization steps = 10500
这个训练总共运行了32分钟，新的模型如下所示。
3 集成aitextgen
aitextgen目前的版本是V0.5.0(5/17/2021), 它使用OpenAI的GPT-2和EleutherAI的GPT Neo/GPT-3架构进行基于文本的人工智能训练，利用PyTorch、HuggingFace Transformers和pytorch-lightning，对使用GPT-2的文本生成进行了优化。aitextgen能直接使用我们训练出来的模型，因此在原有代码的基础上加入了这个库。
4 运行参数设置
以"rock toppling failure"作为引导短语运行geotech-data-finetune.py，在这个代码中，目前共设置4种方法产生结果，为了简化结果，每种方法仅产生一个句子。模型运行参数如下所示。
outputs = model.generate(input_ids,= 100,early_stopping=True,=1,=60,top_p = 0.90,=True)
5 运行结果
运行结果总结: 《岩石倾倒破坏》
(1) 岩桥是岩石边坡稳定性的重要组成部分。在传统的岩桥分析方法中，通常假设岩桥位于相邻的不连续体尖端之间的最短路径，但实际上，有其它因素也会影响边坡的稳定性，包括节理间距、不连续体的贯通度以及岩石的内摩擦角。Santos等人(2018)研究了岩桥厚度对边坡破坏的影响。在这项研究中，通过改变岩桥厚度从0.5到1.0毫米来模拟平面内岩桥破坏。图1中的岩桥厚度使用了Jennings(1970)介绍的、由Sirovision(1983)开发的等效不连续模型。在等效不连续模型中，一般假定节理间距等于1米，并与边坡宽度相似或小于斜坡宽度(图2)。等效不连续模型还假定，当节理间距等于边坡长度时，剪应力等于法向应力(图3)。然而，模型中连接面的应力分布是非常不同的。
(2) Stead等人(2004)使用三维DEM模型3DEC模拟了边坡的平面，楔形和倾倒破坏分析，用来评价边坡坡脚处开挖对边坡的稳定性影响。在他们的分析中考虑了岩桥的角度(rock bridge angle)对稳定性的影响。他们发现，阶梯式破坏表现出平面和楔形破坏的特点，特别是岩石的凝聚破坏(coalescence failure)。
(3) 本文提出了一种新的方法描述岩体中离散裂缝网络(DFN)特性的空间分布。联合使用DFN和解析解研究岩体中的DFN特性的空间分布，重点考虑随机网格中DFN特性的空间分布。发现新的破坏模式是多模式的阶梯式破坏，它与普通阶梯式破坏的区别在于，与非贯通性不连续体体相交的岩石中可能会发生倾到破坏。
(4) 不过，尽管这种方法在我们的试验中有效，而且这是边坡破坏面形成的一个重要进展，但是还没有被其它的试验进行过验证。
6 结束语
新的GeotechSet模型扩展了原始数据集(5.3M)，并且对数据进行了手动清洗，新的句子生成代码集成了aitextgen，从而在某种程度上增强了结果的可靠性。我们将继续扩展原始数据集。
