随着DeepSeek这两天在全世界的火爆程度,全球的网友直接把服务器给干崩了,这两天用DeepSeek的服务器是不是特别卡顿,特别是到了晚上,根本用不了,今天我们就来尝试一下如何免费将DeepSeek的模型部署到本地,不用联网也可以流畅的使用DeepSeek R1 模型,并且还能用上现在官方没上线的创建智能体和发语音功能。
基于Ollama本地部署
首先我们进入Ollama官网:https://ollama.com/,下载Ollama,选择适合自己的版本进行下载;
安装完成之后,回到Ollama主页,点models按钮,找到deepseek-r1的模型;
点进去以后,在这里有很多不同的版本,选择你电脑配置带的动的,我选择的是7b版本;
具体的配置对应参照我的这个表;
选好对应的模型,然后复制版本后面的这串代码;
接着Mac用户在电脑本地打开【终端】,Windows用户在电脑本地打开【cmd】,把刚才复制的代码,粘贴过来,回车,然后开始下载模型!
等进度条走完,就可以在本地使用了;
当然,这个只是用终端框去使用,对咱们来说,还是有点不方便;
接下来介绍2种方法,把这个变成一个有交互界面的程序,还能解锁2个官方没上线的技能 【创建智能体】和【发语音】。
chatbox方案(可选)创建智能体
打开chatbox官网:https://chatboxai.app/zh,选择网页版(也可以下载本地客户端,看你习惯);
然后点左下角【设置】;
模型提供方选择Ollama;
默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
在MacOS上配置:
打开命令行终端,输入以下命令:
launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"
重启 Ollama 应用,使配置生效;
在Windows上配置:
在 Windows 上,Ollama 会继承你的用户和系统环境变量。
- 通过任务栏退出 Ollama。
- 打开设置(Windows 11)或控制面板(Windows 10),并搜索“环境变量”。
- 点击编辑你账户的环境变量。
为你的用户账户编辑或创建新的变量 OLLAMA_HOST,值为 0.0.0.0; 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS,值为 *。
- 点击确定/应用以保存设置。
- 从 Windows 开始菜单启动 Ollama 应用程序
然后回到Ollama的官网,重新点一下【设置】,就可以看见我们下载的模型了,选择一下,然后保存,就能正常使用了。
在chatbox官网,点击【我的搭档】,就可以创建智能体。
docker方案(可选)能发语音
首先进入docker官网 https://www.docker.com/,下载软件,安装的过程全部选【默认】选项即可,安装完成以后,需要注册一个账号(注册账号这里直接跳过哈);
配置国内镜像源
进入 docker,选择 Settings – Docker Engine,将镜像源替换如下:
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false,
"features": {
"buildkit": true
},
"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://docker.1panel.live",
"https://registry.docker-cn.com",
"https://cr.console.aliyun.com",
"https://mirror.ccs.tencentyun.com"
]
}
安装OpenWebUI
然后再次打开【终端】,输入这段指令后按回车;
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
等待它安装Open-WebUI,出现这个就是安装成功!
然后再打开docker软件,会发现软件界面新出现了一个OpenWebUi的选项,点击红色的标记的地方,就能打开页面;
第一次打开需要登录一下你刚才注册docker的账号密码;
登陆以后,就可以正常使用了,右侧的按钮还能语音输入;
快去试试吧!祝你新年快乐!!!
暂无评论内容