Ollama 新增微软的 WizardLM 2模型 (V0.1.32)
摘要
本文介绍了Ollama V0.1.32版本的更新内容，包括内存优化、模型转换、错误修复等功能提升。同时，文章还详细介绍了新增的四个大型语言模型：WizardLM 2、Command R+、dbrx和mixtral，这些模型各具特色，并在不同领域具有广泛应用。最后，文章通过测试WizardLM 2模型，展示了其在岩石力学领域的实际应用效果。
正文
1. 引言
在刚刚发布的Ollama V0.1.32中，主要修正了以下问题：
(1) 更好地利用可用的VRAM，从而减少内存不足错误，并提高GPU的利用率。
(2) ollama create 现在可以转换和量化基于Mistral、Llama 2 和Gemma 的 Safetensors 模型。例如：
ollama create -q q4_0 -f Modelfile my-new-model(3) 修正了在遇到错误时会挂起的几个问题。
(4) 修复了在OLLAMA_ORIGINS中使用引号会导致错误的问题。
Ollama本地运行的实践---离散断裂网络DFN
最新Ollama: 基于嵌入模型的检索增强生成(RAG)---3DEC测试
2. 新增的模型
Ollama V.1.32新增了如下模型：
(1) WizardLM 2
WizardLM 2是来自 Microsoft AI 的最先进的大型语言模型，在复杂的聊天、多语言、推理和代理用例中性能更佳，有个规模的模型：
wizardlm2:7b：最快的高性能模型；
wizardlm2:8x22b：基于 Mixtral 8x22B 的大型 8x22B 模型，在微软内部对高复杂度任务的评估中，是最好的开源 LLM；
wizardlm2:70b：就其规模而言具有顶级推理能力的模型(即将推出)
这个模型最小的尺寸为2.7G，最大尺寸为281G。
(2) Command R+
Command R+【最新大语言模型比较---岩石力学中的FDEM(What is the FDEM in rock mechanics?)】是Cohere功能最强大、可扩展的大型语言模型 (LLM)，专门针对实际企业用例而设计，Command R+ 兼顾了高效率和高准确性，使企业能够超越概念验证，利用人工智能投入生产，其特征包括：
128koken 上下文窗口
先进的检索增强生成 (RAG)，通过引用减少幻觉
多语种覆盖 10 种主要语言，支持全球业务运营
使用工具实现复杂业务流程的自动化
这个模型最小的尺寸为39G，最大尺寸为208G。
(3) dbrx
DBRX 是一种基于transformer的纯解码大型语言模型，采用下一标记预测法进行训练。它采用细粒度专家混合(MoE)架构，共有132B个参数，其中36B个参数对任何输入都有效。该模型在12T文本和代码数据中进行了预训练。除了作为通用LLM的优势外，它还是一个优秀的代码模型，在编程方面超过了CodeLLaMA-70B等专业模型。这个模型最小的尺寸为48G，最大尺寸为263G。
(4) mixtral
Mixtral 大型语言模型是一套经过预训练的稀疏专家混合生成模型。这个模型最小的尺寸为26G，最大尺寸为281G。
3. 测试WizardLM 2
安装WizardLM 2测试其功能，这个模型的尺寸为4.1G，测试文档'isolated block stability method.txt'。
问题：这个文件的主要目的是什么？
回答：提供3DEC输入文件的主要目的是，在考虑原位应力并假设 K0(原位应力与最大主应力之比)值为0.5的情况下，对隧道开挖周围孤立岩块的稳定性进行模拟和分析。文件概述了在 3DEC中创建数值模型的步骤，其中包括：
(1) 定义几何体：在每个方向延伸10米的区域内创建一个代表孤立岩块的单一岩块，设置岩块公差是为了确保建模过程的精确性。
(2) 生成随机种子：随机种子是为模型的随机方面设置的，例如节理方向和大小分布。
(3) 为节理创建DFN模板：定义离散断裂网络DFN来表示岩体中的节理系统，模板规定了节理的走向和尺寸分布。
(4) 切割隧道和隔离块：从岩块中切割出一个圆柱形隧道，并为此创建一个名为 "tunnel"的组，然后通过切割属于隧道组的材料来定义隧道周围的孤立岩块。
(5) 生成单元和施加原岩应力：根据网格生成单元属性，并使用0.5的K0值施加原岩应力。安装应力时假定岩石的杨氏模量(E)=25,000MPa，泊松比(ν) =0.3。
(6) 删除隧道：将隧道作为DFN的一部分建模后，将其从模型中删除，只留下隔离块及其周围的节理系统。
(7) 分析岩块稳定性：使用"block analyze-stability"命令分析孤立岩块的稳定性，这包括计算岩块自由面破坏的安全系数，同时考虑节理的法向刚度和剪切刚度以及摩擦特性。
(8) 最终确定模型：在不同阶段保存模型，以便日后使用或回顾。
该分析旨在评估隧道周围岩体因开挖而可能产生的不稳定性，并了解原位应力状态如何影响这种稳定性。分析得出的安全系数将表明岩块在给定条件下是否稳定，或者是否有坍塌的风险，这可能会对岩体地下开挖的设计和施工产生影响。
该文件还包括一个自定义 FISH脚本，用于定义圆柱体上各点的坐标，必要时可用于表示隧道横截面。该脚本封装在"fish def "块中，名为"table_definition"。它会生成一个表，其中包含在半径为5米的圆柱体圆周上均匀分布的点的坐标。
