Open-webui---构建基于本地知识库的大语言模型框架

6月前浏览7808

摘要

本文介绍了在本地部署三个流行的模型框架：ChatRTX、AnythingLLM和Ollama，并重点讲述了Ollama的更新和应用。Ollama通过Open-webui界面进行更新，提供了更强大的性能和用户界面。文章还详细说明了Open-webui的安装步骤和如何使用该界面下载和配置模型。通过测试一个关于“drawdown”的pdf文档，验证了安装模型的性能，并比较了不同开源大语言模型的准确度。最后，提到笔记软件Obsidian可以与Ollama集成，保存Open-webui产生的结果。

正文

1. 引言

目前，除了在线使用一些大模型外，也在本地布署了三个流行的模型框架：

(1) ChatRTX【英伟达的检索增强生成应用程序ChatRTX (V0.2.1)】

(2) AnythingLLM

(3) Ollama

Ollama本地运行的实践---离散断裂网络DFN
最新Ollama: 基于嵌入模型的检索增强生成(RAG)---3DEC测试
Ollama 新增微软的 WizardLM 2模型 (V0.1.32)

以前的Ollama应用直接使用Python编程，没有用户界面，而且功能有限，因此决定更新到带有用户界面的Open-webui。由于已经安装了Ollama，只需使用Docker安装Open-webui即可。

2. 安装open-webui

(1) 从docker网站上下载安装程序Docker Desktop Installer.exe(500.3M)，在默认目录下进行安装。

(2) 运行下面的命令，安装Open webui。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(3) 安装完毕后，在docker内增加了open-webui，如下图所示。

(4) 点击地址3000:8080便打开open-webui，当前的最新版本是v0.1.119。

(5) 打开界面后，可以从Ollama.com上下载所需的模型。默认情况下，下载的模型在C:盘，为了节省C盘空间，在其它盘符下建立目录，然后设置相应的环境变量，这样下载的模型就保存到其它盘了。

3. 模型测试

上传一个关于drawdown的pdf文档，使用一个简单问句"what is the drawdown?"对已经安装的模型进行了测试，综合测试结果如下：

降水是评估不同水位条件下大坝稳定性的关键因素，降水(drawdown)是指水库水位的降低，即水位从最初的满库水位(FullReservoir)降低到较低的水位，具体来说就是教程手册中提到的从25米下降到5米。它分为两个阶段：快速降水和慢速降水，两者的区别在于水位降低的速度，快速降水的特点是水位迅速下降，而慢速降水的特点是水位逐渐下降。每个阶段对大坝周围孔隙压力分布的影响不同，降水的实际值取决于各种因素，如初始水位、水位变化和大坝的整体状态。

在本方案中，我们的重点是大坝在快速降水情况下的稳定性。模拟快速降水的方法是创建原始水位的副本，并将其重命名为FullReservoir_Rapid。要定义并执行快速降水计算，我们需要指定描述水位行为的流量函数。为此，我们需要在流量函数窗口中添加一个新函数并定义其属性。属性包括：

名称：Rapid（或任何其他合适的名称）

信号: 线性

时间间隔：5天

水头：-20米（代表水头下降量）

这个已定义的流量函数表示快速降水阶段，如下图所示。

水位下降会影响大坝周围的孔隙压力分布，我们使用 PLAXIS 2D 进行了完全耦合的流动-变形分析。分析结果显示了不同阶段的孔隙压力分布，包括快速降水和慢速降水后的孔隙压力分布，以及水库水位较低时的稳定状态。对模型条件和水段(water segments)进行了配置，以模拟这些情况，特别注意模型资源管理器中的水段，其中的 GlobalWaterLevel 是根据降水阶段分配的。

4. 结束语

安装Open-webui，代替了原来Ollama的Pyhton调用，性能更强大。通过简单的测试，对开源大语言模型的准确度排序如下：

(1) Llama3【短期课程 | 集成的三维岩石边坡稳定性分析】

(2) Wizardlm2【Ollama 新增微软的 WizardLM 2模型 (V0.1.32)】

(3) Llama2【Ollama本地运行的实践---离散断裂网络DFN】

(4) Gemma:2b (已经用Gemma代替)【Ollama 新增微软的 WizardLM 2模型 (V0.1.32)】

笔记软件Obsidian可以与Ollama集成在一起，把Open-webui产生的结果保存到Obsidian中，然后使用Ollama对笔记内容综合分析，通过联合这两个框架，可以逐步迭代出精华内容。

来源：计算岩土力学

著作权归作者所有，欢迎分享，未经许可，不得转载

首次发布时间：2024-05-03