新论文 | QuakeBERT：利用地震领域专用大语言模型从社交媒体中分析震害
转载自公 众号“智能土木ABC”
论文：Enhanced Earthquake Impact Analysis based on Social Media Texts via Large Language Model. International Journal of Disaster Risk Reduction, 2024, 109, 104574.
DOI: https://doi.org/10.1016/j.ijdrr.2024.104574
50天免费下载链接：https://authors.elsevier.com/a/1jBG97t2zZHDGa
00
太长不看版
00
太长不看版
太长不看版
在地震灾害发生后，迅速获取和分析相关信息对于应急响应至关重要。在互联网时代，社交媒体是重要的信息来源，目前已有很多学者利用社交媒体上的海量数据辅助灾难后响应。但微博上存在大量的不专业的描述（“我婆娘说她的脑壳都晃昏咯”，图1），还有各种噪音或干扰信息（比如“美国政坛地震，特朗普被判有罪！”，图2）。
图1 不专业的描述，有效信息，但是传统方法却往往难以识别
图2 噪音信息，对震害分析完全无效
(图1、图2均为AI生成)
本研究提出了一种大语言模型增强的基于社交媒体文本的地震影响分析方法，用于地震损失的快速评估。我们开发并微调了第一个地震领域的大语言模型 QuakeBERT，显著提高了地震损失信息的提取精度和效率。通过结合舆情趋势分析、情绪分析和基于关键词的物理影响量化，实现对地震物理和社会影响的快速评估。实验结果表明，QuakeBERT 的性能优于传统模型，能够有效过滤嘈杂的微博并辅助后续的地震影响评估过程，从而有助于实现有效的灾后应急响应，创建更具韧性的城市。
01
研究背景
01
研究背景
随着社交媒体的普及，微博等平台上的实时数据成为新的信息来源。社交媒体上实时发布的灾害现场情况、伤亡情况、救援需求等信息，对于应急响应和资源调度具有重要的参考价值。然而，社交媒体内容通常杂乱无章、信息量巨大且含有大量噪声和口语化表达，因此，如何从中提取有用信息成为了一大挑战。传统的人工筛选方法不仅耗时费力，而且无法满足灾后紧急情况的信息需求。因此，开发一种能够自动、高效地从社交媒体中提取地震损失信息、并据此对地震社会及物理影响进行快速评估的方法尤为重要。
在此背景下，本研究提出了一种大语言模型增强的社交媒体文本精确分类方法，旨在提高地震灾害信息提取的效率和准确性；同时提出了一种集成舆情趋势分析、情绪分析和基于关键词的物理影响量化的地震社会及物理影响快速评估方法，从而为灾后应急响应提供有效的决策支持，流程图如图3所示。
图3 流程图
02
研究方法
02
研究方法
2.1 微博数据抓取与数据集构建方法
首先利用Scrapy和Weibo-search抓取地震发生后的微博数据，并基于微博ID进行去重处理，以确保数据的唯一性和准确性。
考虑到很多微博与实际地震影响无关，且不同类型的微博往往描述灾害信息的不同方面，因此本研究通过内容分析将微博分为六类，以反映其与地震损失的相关性，如表1所示。
表1 文本类别
2.2 用于地震影响评估的地震领域大语言模型的开发
不同类别的数据与地震影响的相关性具有显著差异，为精确评估震后损失，需对地震相关微博进行精确分类。因此，基于上述构建的数据集，本研究开发并微调了第一个基于BERT的地震领域大语言模型QuakeBERT。为提高模型性能，我们开展了系列实验，以探究训练数据集的规模和多样性、进一步预训练领域大语言模型以及数据清洗方法对模型表现的影响。实验结果表明，数据集的规模和多样性对模型泛化性能影响最大；当训练数据规模和多样性较小时，数据清洗和进一步预训练模型有利于提高模型的泛化性能。
2.3 用于地震社会与物理影响评估的综合方法
基于分类后的数据，本研究集成以下三种方法来评估地震的物理和社会影响：（1）舆情趋势分析（社会影响）：利用弱相关数据和强相关数据，通过统计和分析每个时间段内微博的发布数量，评估地震的影响范围和程度；（2）情绪分析（社会影响）：利用弱相关数据和强相关数据，使用情感分析模型（如snowNLP库）对微博进行情感分类，区分积极和消极情绪，以估计地震造成的经济损失和社会影响；（3）基于关键词的物理影响量化（物理影响）：利用强相关数据，建立物理影响评估表（如表2所示），通过强度关键词匹配，反映地震的实际损失。
表2 不同灾害等级的关键词
03
案例分析
03
案例分析
3.1 地震信息与数据收集
我们分析了两次5.1级地震造成的物理与社会影响，来验证本研究提出的微博文本分类与地震影响快速评估方法，两次地震的关键信息如表3所示。
表3 地震信息
3.2 数据分析和地震影响评估结果
首先，使用训练好的QuakeBERT 模型对收集到的微博进行分类，结果如表4所示。
表4 文本分类
过滤掉无关微博后，对剩余微博进行进一步的地震影响分析。
1） 社会影响-舆情趋势分析
两次地震发生后48小时内舆情的演变如图4所示。尽管兴文地震造成的损失较高，但其舆情高峰明显低于古冶地震。这是因为古冶地震影响地区的人口数量远高于兴文地震，且古冶地震在北京和天津等大城市也有震感，故而引发更多的讨论。实验结果表明，舆情高峰仅说明事件的关注度，但不一定反映实际损失。
图4 两次地震的舆论走向
2） 社会影响：用户情感分析
两次地震发生后48小时内积极和消极微博的趋势如图5所示。兴文地震后微博中负面情绪的比例明显高于古冶地震，这与3.1节中的损失情况一致。实验结果表明，地震发生后实时监测微博情绪比例，可以为早期救灾决策提供参考，并有助于估算地震造成的损失。
图5 两次地震的情绪走势（a）古冶（b）兴文
3） 物理影响：基于关键词的物理影响量化
未分类微博数据与分类后的强相关数据分别基于关键词分析得到的不同灾害等级的微博数量与百分比如图6、7所示。结果表明，未经分类的数据中噪声较多，会显著影响地震损失评估。分类前古冶地震第四级（最严重级别）微博占比大于兴文地震，而分类后结果显示古冶地震的影响弱于兴文地震，评估结果与实际损失情况一致。
图6 不同灾害等级的微博数量（a）古冶（b）兴文
图7 不同灾害等级的微博占比（a）分类前（b）分类后
04
研究结论
04
研究结论
1）本研究提出了第一个地震领域的大语言模型（QuakeBERT），用于准确分类和过滤微博，以辅助后续的地震影响评估。
2）本研究提出了一种集成舆情趋势分析、情绪分析和基于关键词的物理影响量化的地震社会及物理影响快速评估方法，从而为灾后应急响应提供有效的决策支持，创建更具韧性的城市。
3）消融实验表明，数据多样性和数据规模对模型的泛化性能影响最大；在训练数据多样性和数据规模较小时，数据清洗和进一步预训练模型有助于提高模型的泛化性能；QuakeBERT模型优于其他深度学习模型，F1得分提高了23.46%，表明QuakeBERT模型具有更好的泛化性能，更适合过滤无关微博。
4）案例分析结果表明，分类前的嘈杂微博对基于关键词的物理影响分析方法有显著影响，会导致物理评估出现误差；大语言模型增强的基于社交媒体文本的地震影响分析可以减少噪声微博的影响，提高地震社会与物理影响的评估精度。
