首页/文章/ 详情

Open-webui---构建基于本地知识库的大语言模型框架

6月前浏览8006

摘要

本文介绍了在本地部署三个流行的模型框架:ChatRTX、AnythingLLM和Ollama,并重点讲述了Ollama的更新和应用。Ollama通过Open-webui界面进行更新,提供了更强大的性能和用户界面。文章还详细说明了Open-webui的安装步骤和如何使用该界面下载和配置模型。通过测试一个关于“drawdown”的pdf文档,验证了安装模型的性能,并比较了不同开源大语言模型的准确度。最后,提到笔记软件Obsidian可以与Ollama集成,保存Open-webui产生的结果。


正文

1. 引言

目前,除了在线使用一些大模型外,也在本地布署了三个流行的模型框架:

(1) ChatRTX【英伟达的检索增强生成应用程序ChatRTX (V0.2.1)】

(2) AnythingLLM

(3) Ollama

  • Ollama本地运行的实践---离散断裂网络DFN

  • 最新Ollama: 基于嵌入模型的检索增强生成(RAG)---3DEC测试

  • Ollama 新增微软的 WizardLM 2模型 (V0.1.32)

以前的Ollama应用直接使用Python编程,没有用户界面,而且功能有限,因此决定更新到带有用户界面的Open-webui。由于已经安装了Ollama,只需使用Docker安装Open-webui即可。


2. 安装open-webui

(1) 从docker网站上下载安装程序Docker Desktop Installer.exe(500.3M),在默认目录下进行安装。
(2) 运行下面的命令,安装Open webui。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
(3) 安装完毕后,在docker内增加了open-webui,如下图所示。
(4) 点击地址3000:8080便打开open-webui,当前的最新版本是v0.1.119。

(5) 打开界面后,可以从Ollama.com上下载所需的模型。默认情况下,下载的模型在C:盘,为了节省C盘空间,在其它盘符下建立目录,然后设置相应的环境变量,这样下载的模型就保存到其它盘了。

3. 模型测试

上传一个关于drawdown的pdf文档,使用一个简单问句"what is the drawdown?"对已经安装的模型进行了测试,综合测试结果如下:
降水评估不同水位条件下大坝稳定性的关键因素,降水(drawdown)是指水库水位的降低,即水位从最初的满库水位(FullReservoir)降低到较低的水位,具体来说就是教程手册中提到的从25米下降到5米。它分为两个阶段:快速降水和慢速降水,两者的区别在于水位降低的速度,快速降水的特点是水位迅速下降,而慢速降水的特点是水位逐渐下降。每个阶段对大坝周围孔隙压力分布的影响不同,降水实际值取决于各种因素,如初始水位、水位变化和大坝的整体状态。

在本方案中,我们的重点是大坝在快速降水情况下的稳定性。模拟快速降水的方法是创建原始水位的副本,并将其重命名为FullReservoir_Rapid。要定义并执行快速降水计算,我们需要指定描述水位行为的流量函数。为此,我们需要在流量函数窗口中添加一个新函数并定义其属性。属性包括:

名称:Rapid(或任何其他合适的名称)

信号: 线性

时间间隔:5天

水头:-20米(代表水头下降量)

这个已定义的流量函数表示快速降水阶段,如下图所示。

水位下降会影响大坝周围的孔隙压力分布,我们使用 PLAXIS 2D 进行了完全耦合的流动-变形分析。分析结果显示了不同阶段的孔隙压力分布,包括快速降水和慢速降水后的孔隙压力分布,以及水库水位较低时的稳定状态。对模型条件和水段(water segments)进行了配置,以模拟这些情况,特别注意模型资源管理器中的水段,其中的 GlobalWaterLevel 是根据降水阶段分配的。

4. 结束语

安装Open-webui,代替了原来Ollama的Pyhton调用,性能更强大。通过简单的测试,对开源大语言模型的准确度排序如下:

(1) Llama3【短期课程 | 集成的三维岩石边坡稳定性分析】

(2) Wizardlm2【Ollama 新增微软的 WizardLM 2模型 (V0.1.32)
(3) Llama2【Ollama本地运行的实践---离散断裂网络DFN
(4) Gemma:2b (已经用Gemma代替)【Ollama 新增微软的 WizardLM 2模型 (V0.1.32)
(5) Command-R【最新大语言模型比较---岩石力学中的FDEM(What is the FDEM in rock mechanics?)】 
笔记软件Obsidian可以与Ollama集成在一起,把Open-webui产生的结果保存到Obsidian中,然后使用Ollama对笔记内容综合分析,通过联合这两个框架,可以逐步迭代出精华内容。

来源:计算岩土力学
断裂python3DECPLAXIS
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2024-05-03
最近编辑:6月前
计算岩土力学
传播岩土工程教育理念、工程分析...
获赞 147粉丝 1054文章 1776课程 0
点赞
收藏
未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习 福利任务 兑换礼品
下载APP
联系我们
帮助与反馈