英伟达的检索增强生成应用程序ChatRTX (V0.2.1)
摘要
英伟达推出的ChatRTX是一款演示应用程序,它通过RAG、TensorRT-LLM和RTX加速,将大型语言模型与用户计算机中的内容连接,创建自定义聊天机器人,快速回答上下文相关问题。它支持多种文件格式,安装需满足特定条件。ChatRTX提供两个模型,用户可本地选择并查询文档。测试表明,Mistral 7B模型在提供信息方面表现更佳。尽管作为Demo版本,ChatRTX在处理文件数量和功能上受限,但仍是一个提高工作效率和知识管理便捷性的强大工具。
正文
1. 引言
英伟达在今年年初推出一款演示应用程序ChatRTX,可以将GPT大型语言模型(LLM)与计算机中自己的内容(文档、笔记或其他数据)连接起来,利用检索增强生成(RAG)、TensorRT-LLM和RTX加速,自定义一个聊天机器人,快速获得与上下文相关的答案。ChatRTX 支持多种文件格式,包括文本、pdf、doc/docx 和 xml。
对于本地文档,理论上讲,假如ChatRTX做得足够好,而且坚持不断改进,那么我们以后就不再需要Ollama【Ollama本地运行的实践---离散断裂网络DFN】。
2. 安装ChatRTX
安装ChatRTX并不是一件容易的事情,必须满足以下4个硬性条件:
(1) Windows平台,ChatRTX不支持其他操作系统,而且必须是Windows 11;
(2) 必须使用英伟达的显卡,至少是RTX30或RTX40,而且显存至少8GB;
(3) 内存至少16GB;
(4) C:盘空间至少预留50GB。
在满足以上条件后,从英伟达网站上下载安装软件包ChatWithRTX_installer_3_5,这个文件的尺寸为36.2GB,解压后的尺寸为39.6GB,目前的版本是3月27日更新的(ChatWithRTX_installer_3_27_patch_v2),解压后的文件如下图所示。
执行setup.exe开始安装程序,这是一个非常漫长的过程,而且一次很难安装成功,因为受到两个因素的影响,一个因素是在安装的过程中需要下载大量额外的数据,另一个影响因素是国内线路的问题。如果足够幸运的话,安装成功的界面如下图所示。系统安装了两个模型,一个是Llama2 13B,另一个是Mistral 7B。(1) Llama 2由Meta Platforms公司发布,该模型基于2万亿个标记进行训练,默认支持 4096的上下文长度。Llama 2聊天模型在100多万个人类注释的基础上进行了微调,专为聊天而设计。Llama 2共有3个子模型,分别是7B,13B和70B,可能是目前的机器配置还不是最高,因此只能下载我们以前使用的13b【Ollama本地运行的实践---离散断裂网络DFN】。(2) Mistral 是一个7.3B参数模型,由Mistral AI发布,据称Mistral 7B在所有基准测试中均优于 Llama 2 13B,优于 Llama 1 34B,在代码方面接近 CodeLlama 7B 的性能,同时在英语任务方面表现出色。不过我们目前在ollama中还没有与Llama 2进行真实的比较。![](https://public.fangzhenxiu.com/fixComment/commentContent/imgs/1713114101326_6kmkqd.jpg?imageView2/0)
3. 启动ChatRTX
安装完成后,会在桌面上添加一个图标"NVIDIA Chat with RTX",点击这个图标便会启动ChatRTX。启动程序后,首先会运行并且显示配置文件,这个配置文件应该能够修改,不过在目前的初识阶段让其以默认方式运行即可。(1) 没有发现sentence-transformers模型UAE-Large-V1,使用 MEAN池创建一个新的;
(2) 从dataset_vector_embedding中使用持久值;(3) ./config/preferences.json 文件不存在。显而易见,ChatRTX采用了sentence-transformers预训练模型来寻找句子的相似性,这是一个我们以前大量使用的库。SentenceTransformers库更新V2.0.0
可能的原因是这个库需要从HuggingFace上下载,而HuggingFace现在对模型下载提出了极高的要求,记得3年前使用HuggingFace上的模型可以随意下载。消除这个警告信息的一个方法是从国内的镜像网站上下载这个模型,然后放到警告信息中指定的文件夹内,不过目前还没有这样做,似乎不影响程序运行,背后的原理不甚清楚。接下来便会呈现出本地服务器页面:http://127.0.0.1:xxxxx/,界面非常简洁,左侧选择安装的模型Mistral或Llama,如下图所示。![](https://public.fangzhenxiu.com/fixComment/commentContent/imgs/1713683881743_5ico1d.jpg?imageView2/0)
右侧指定文件的路径,如下图所示。在文本输入框内输入要查询的句子,按"Send"按钮即可。
![](https://public.fangzhenxiu.com/fixComment/commentContent/imgs/1713114102254_v6k8j6.jpg?imageView2/0)
4. 测试ChatRTX
下面以F:/search下的文本来测试ChatRTX。这个目录下共有570个txt文件,既有岩石力学方面的,也有土力学方面的,总的文件尺寸为15.4M,系统分7次生成嵌入,花费了大约3分半时间。输入的问题是"list some open pit mines",我们试图从这些文档中查出一些露天矿的名称。首先使用默认的LLama 2 13B模型进行查询,给出的结果是:(a) 美国内华达州的Betze-Post金矿 - 北美最大的露天金矿之一,年产黄金超过100万盎司。
(b) 西澳大利亚的Boddington金矿 - 澳大利亚最大的金矿,年产黄金超过70万盎司。
(c) 澳大利亚Kalgoorlie的Fimiston Open Pit "Super Pit" - 澳大利亚最大的露天金矿之一,开采深度超过 600 米。
(d) 加纳的Ahafo金矿 - 位于非洲多产金矿地区的露天金矿,年产黄金超过 50万盎司。
参考文件为"露天开采的金矿.txt"
(2) Mistral 7B模型
其次,使用Mistral 7B模型进行同样的提问"list some open pit mines",结果如下:
(a) Betze-Post mine in Nevada, USA
(e) Carlin Trend mines (Nevada, USA)(f) Yanacocha mine (Peru)(g) Veladero mine (Argentina)【维拉德罗金矿(Veladero Gold Mine)露天开采 (山东黄金)】(h) Rosia Montana mine (Romania)(i) Olimpiada mine (Russia)(k) Martabe mine (Indonesia)值得注意的是,墨西哥总统最近提议禁止在墨西哥进行露天开采,因为露天开采会破坏环境和过度用水【墨西哥禁止露天采矿 | 对赣锋国际的影响】。
参考文件为"露天开采的金矿.txt"
如前所述,Mistral 7B模型确实比Llama 2 13B模型提供了更多的信息【最新统计53个 | 世界上开采最深的露天矿(开采深度大于400m)】。
5. 结束语
ChatRTX目前的最新版本是3月27日的V0.2.1,鉴于这是个Demo版本,因此无论文件夹下有多少个文件,它一次只能处理一个文件,即首先找出与提示词语义上最相近的那个文档,然后再根据这个文档进行处理,例如:[1] Bench stability analysis using DFN in open-pit mines -> stability analysis of Delabole Slate Quarry.txt[2] summarize the application of DFN in open-pit mimes -> DFN.txt[3] settlement calculation of the foundation -> random limit equilibrium models equivalent shear strength heterogenous weak rock masses.txt