首页/文章/ 详情

GeotechSet模型的扩展和优化---集成了aitextgen

2年前浏览716

1 引言

GeotechSet数据集在GPT2上的训练过程》训练出一个Geotechset试验模型, 使用了仅450k的原始数据集,在此基础上,把原始数据扩到了目前的5.3M进行了试验,数据范围仍然集中在岩石工程。这个笔记回顾了参数的设置和生成的结果。


2 训练参数设置

与上一个版本相比,这个版本把训练循环次数num_train_epochs的数值由原来的3改为4,这将增加结果的可靠度,其它参数没有改变。完整的输入参数如下:

--output_dir=mwu 

--model_type=gpt2 

--model_name_or_path=gpt2 

--do_train --train_data_file=./input.txt 

--per_device_train_batch_size=2 

--dataloader_num_workers=1 

--block_size 256 

--save_steps 5000 

--num_train_epochs=4

训练过程的参数总结如下: 

Num examples = 5250

Num Epochs = 4

Instantaneous batch size per device = 2

Total train batch size (w. parallel, distributed & accumulation) = 2

Gradient Accumulation steps = 1

Total optimization steps = 10500

这个训练总共运行了32分钟,新的模型如下所示。

3 集成aitextgen

aitextgen目前的版本是V0.5.0(5/17/2021), 它使用OpenAI的GPT-2和EleutherAI的GPT Neo/GPT-3架构进行基于文本的人工智能训练,利用PyTorch、HuggingFace Transformers和pytorch-lightning,对使用GPT-2的文本生成进行了优化。aitextgen能直接使用我们训练出来的模型,因此在原有代码的基础上加入了这个库。


4 运行参数设置

以"rock toppling failure"作为引导短语运行geotech-data-finetune.py,在这个代码中,目前共设置4种方法产生结果,为了简化结果,每种方法仅产生一个句子。模型运行参数如下所示。









outputs = model.generate(    input_ids,    max_length = 100,    early_stopping=True,    num_return_sequences=1,    top_k=60,    top_p = 0.90,    do_sample=True)


5 运行结果

运行结果总结: 《岩石倾倒破坏》

(1) 岩桥是岩石边坡稳定性的重要组成部分。在传统的岩桥分析方法中,通常假设岩桥位于相邻的不连续体尖端之间的最短路径,但实际上,有其它因素也会影响边坡的稳定性,包括节理间距、不连续体的贯通度以及岩石的内摩擦角。Santos等人(2018)研究了岩桥厚度对边坡破坏的影响。在这项研究中,通过改变岩桥厚度从0.5到1.0毫米来模拟平面内岩桥破坏。图1中的岩桥厚度使用了Jennings(1970)介绍的、由Sirovision(1983)开发的等效不连续模型。在等效不连续模型中,一般假定节理间距等于1米,并与边坡宽度相似或小于斜坡宽度(图2)。等效不连续模型还假定,当节理间距等于边坡长度时,剪应力等于法向应力(图3)。然而,模型中连接面的应力分布是非常不同的。


(2) Stead等人(2004)使用三维DEM模型3DEC模拟了边坡的平面,楔形和倾倒破坏分析,用来评价边坡坡脚处开挖对边坡的稳定性影响。在他们的分析中考虑了岩桥的角度(rock bridge angle)对稳定性的影响。他们发现,阶梯式破坏表现出平面和楔形破坏的特点,特别是岩石的凝聚破坏(coalescence failure)。


(3) 本文提出了一种新的方法描述岩体中离散裂缝网络(DFN)特性的空间分布。联合使用DFN和解析解研究岩体中的DFN特性的空间分布,重点考虑随机网格中DFN特性的空间分布。发现新的破坏模式是多模式的阶梯式破坏,它与普通阶梯式破坏的区别在于,与非贯通性不连续体体相交的岩石中可能会发生倾到破坏。


(4) 不过,尽管这种方法在我们的试验中有效,而且这是边坡破坏面形成的一个重要进展,但是还没有被其它的试验进行过验证。


6 结束语

新的GeotechSet模型扩展了原始数据集(5.3M),并且对数据进行了手动清洗,新的句子生成代码集成了aitextgen,从而在某种程度上增强了结果的可靠性。我们将继续扩展原始数据集。


来源:计算岩土力学
3DEC试验人工智能
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2022-11-20
最近编辑:2年前
计算岩土力学
传播岩土工程教育理念、工程分析...
获赞 147粉丝 1060文章 1782课程 0
点赞
收藏
未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习 福利任务 兑换礼品
下载APP
联系我们
帮助与反馈