最近国产大模型DeepSeek闹的火热,我也来试试,使用了一个下午,效果还可以,令我感到惊艳的是它可以本地部署。
也就是说,断网的状态下仍可以使用该大模型,于是乎琢磨了一下DeepSeek如何进行本地部署,特此写一篇教程,希望可以帮助到有需要的小伙伴!
https://ollama.com
下载时需要科学上网,否则较为缓慢。
输入ollama -v
,即可查看安装的版本,如下所示,说明已完成安装。
在ollama网站搜索:deepseek-r1,选择适合自己电脑内存显卡性能的版本,这里我选的7b。
复 制上面红框里的命令,粘贴到cmd或者powershell回车下载运行:
安装成功!
断网运行一下~
ollama run deepseek-r1:7b
试证明罗尔中值定理。
不由得说,答得真多!在自动生成回答的过程中,我的联想拯救者(型号Y7000P,内存16G显卡4050)的风扇转的老响了...
输入/?
,可以看到内置的命令
上面的运行方式可能有点麻烦,我们不妨为我们的大模型搭建一个界面,可以方便管理对话,以及传输文件。
进入docker官网:https://docker.p2hp.com 进行安装。安装后注册一些信息,然后打开界面,点击右下角的Terminal
。
输入下面命令,进行拉取Open WebUI Docker镜像
docker pull ghcr.io/open-webui/open-webui:main
启动Open WebUI容器,并连接至Ollama:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
浏览器输入:http://localhost:3000,点击Get Started
并注册一些基本信息。
然后就可以进入界面,显示的是下载的7b模型。
然后就可以愉快的使用了,试了下,断网下也可以使用。
下次再使用时,在浏览器输入:http://localhost:3000/
即可再次使用。
如果要停止这个端口,则在docker输入:docker stop open-webui
,如果想要删除这个端口可以:docker rm open-webui
。注:平时使用过程中,不建议停掉这个端口,方便以后直接用。
我只能说,真的很顶,不需要联网!!! 直接上传,然后进行智能分析,上传速度也很快,Amazing!