当前位置:首页 > 技术分享 > 正文内容

2核4G 无GPU服务器通过宝塔本地化部署deepseek R1可视化界面操作一键本地部署deepseek

Deepseek这段时间非常火,最新推理模型Deepseek R1,都想装上试一试,特别是部署到服务器教程网上一堆教程好像没几个部署成功靠谱的,先说服务器上下载Ollama就难倒一堆人,每次都超时。今天终于在宝塔看到一篇 应用安装文章,借该方法更简单省事,容器里一次把ollama和open-webui安装了,再科普下Ollama‌是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。Open WebUI是一款高度可扩展、功能强大且用户友好的自托管Web用户界面,专为完全离线操作设计。DeepSeek-R1系列模型是基于Transformer架构的大型语言模型,支持中英文双语处理。该系列模型通过不断优化算法和增加训练数据,逐步提升了模型的性能和适用性。


如何30秒安装一个DeepSeek-R1 AI模型?今天全部实操体验成功后分享给大家一起学习。服务器上Ollama‌+open-webui+DeepSeek-R1系列模型全部搞定

配置不满足运行模型会导致服务器卡死或无法访问,请正确选择服务器配置后部署!

各模型建议的服务器配置:

2c4g可以运行1.5b,想要更流畅的话建议到8g内存,此模型可以不需要GPU

8c16g可以运行7b/8b,此模型建议使用GPU运行,建议最少使用8G运存的GPU


腾讯云性能基准测试如下:

【1.5B模型:内存占用2G左右】

2c4g(S5):生成过程中,CPU占用100%

2c8g(S5):生成过程中,CPU占用100%

4c16g(S2):生成过程中,CPU占用100%

16c64g(SA2):生成过程中,CPU占用30~40%


【7B模型:内存占用7.6G左右】

4c8g(SA2):生成过程中,CPU占用100%

16c64g(SA2):生成过程中,CPU占用50%


此使用帮助适用宝塔面板9.4.0以上的版本(2025年2月6日后发布的滚动修复包,请修复面板后安装DeepSeek-R1)

前往宝塔面板【Docker】-【应用商店】,点击DeepSeek-R1应用,点击安装即可,如果没显示DeepSeek应用,请点击右上角【更新应用列表】获取

随后点击【已安装】应用的文件夹按钮,前往对应的应用目录(这里注意使用GPU时才需要这样操作),如果使用CPU默认不需要改可省略

使用GPU时 编辑docker-compose.yml文件,将第5-11行的注释去掉,保存

再回到【已安装】应用界面,将此应用重启即可启用GPU支持

安装完成容器里面就有两个容器信息,该应用应该包含了Open WebUI一起

绑定域名访问,同时加个SSL,这样就可以通过域名打开访问Open WebUI前端了,包括反代什么的都自动帮你设置好了

也可以手动处理反代信息,注意把安全端口放行一下

完成通过域名访问,网址打开时会提示输入管理账号密码,需要设置下,设置好就能正常进入界面

安装模型。在左下角打开设置找到模型,打开下载那个小图标

选择下载对应模型,具体需要下载什么模型可打开https://ollama.com/library/deepseek-r1:1.5b 查看

比如下载 ollama run deepseek-r1:7b 大小4.7G

按理这步应该到此为止了,下载模型时老提示超时,这边模型也没下载成功,后面试了几次了几次下载成功,下了个最小的ollama run deepseek-r1:1.5b  大小1.5G ,模型下载非常慢


写到最后体验后感觉还是失望了,一个回答差不多用了 3分钟,24核服务器64G 100M共享带宽采用CPU模式一个问题回答用了3分钟,这感觉是从高空俯冲到地面,真正测试后才知道服务器得多高才能玩这模型,不过有money的朋友可以考虑,其他人还是老老实实接入API吧



使用NVIDIA GPU加速
DeepSeek 可以使用NVIDIA GPU加速,提高推理速度,下面将介绍如何在宝塔面板中使用NVIDIA GPU加速。
前提条件
服务器已安装NVIDIA GPU驱动
操作步骤
点击左侧导航栏中的终端,进入终端界面。
宝塔面板也支持 快速部署DeepSeek了,高效、可视化操作!插图17
在终端界面中输入nvidia-smi,回车查看NVIDIA GPU信息。
宝塔面板也支持 快速部署DeepSeek了,高效、可视化操作!插图18
如果提示nvidia-smi: command not found,请先安装NVIDIA GPU驱动。
安装NVIDIA Container Toolkit,以便于Docker容器访问NVIDIA GPU,安装教程请参考NVIDIA Container Toolkit官方文档
安装完成后,运行如下命令,配置docker支持使用NVIDIA GPU。

sudo nvidia-ctk runtime configure –runtime=docker
sudo systemctl restart docker


配置完成后,执行如下命令,验证docker是否支持NVIDIA GPU。

sudo docker run –rm –runtime=nvidia –gpus all ubuntu nvidia-smi


如果输出如下信息表示配置成功:
宝塔面板也支持 快速部署DeepSeek了,高效、可视化操作!插图19
宝塔面板-Docker-应用商店-已安装中找到Ollama,点击文件夹图标进入安装目录。
宝塔面板也支持 快速部署DeepSeek了,高效、可视化操作!插图20
在安装目录中找到docker-compose.yml文件,双击编辑
宝塔面板也支持 快速部署DeepSeek了,高效、可视化操作!插图21
docker-compose.yml文件中找到resources,回车换行,添加如下内容:

reservations:
devices:
– capabilities: [gpu]

完整示例如下:

services:
ollama_SJ7G:
image: ollama/ollama:${VERSION}
deploy:
resources:
limits:
cpus: ${CPUS}
memory: ${MEMORY_LIMIT}
reservations:
devices:
– capabilities: [gpu]
restart: unless-stopped
tty: true
ports:
– ${HOST_IP}:${OLLAMA_PORT}:11434
volumes:
– ${APP_PATH}/data:/root/.ollama
labels:
createdBy: “bt_apps”
networks:
– baota_net
runtime: nvidia

networks:
baota_net:
external: true


保存文件,返回宝塔面板-Docker-应用商店-已安装界面,点击重建
重建将导致容器数据丢失,重建后需要重新添加模型。
宝塔面板也支持 快速部署DeepSeek了,高效、可视化操作!插图22
等待重建完成,状态变为运行中,至此即可使用NVIDIA GPU加速大模型运行。

扫描二维码推送至手机访问。

版权声明:本文由小刚刚技术博客发布,如需转载请注明出处。

本文链接:https://blog.bitefu.net/post/651.html

分享给朋友:

相关文章

微软版Ghost Win10:FFU映像备份和还原

微软版Ghost Win10:FFU映像备份和还原

在日常的维护中,系统的备份和还原是大家经常需要操作的事情。虽然Windows 10已经提供很多的工具,如系统还原、WIM备份/还原,VHD备份等。不过这些工具大多是基于文件的备份/还原。我们以前经常的使用的Ghost则是基于扇区的备份/还原...

超高性比的斐讯盒子T1,刷第三方YYF固件机教程超级详细版

超高性比的斐讯盒子T1,刷第三方YYF固件机教程超级详细版

家里面买了斐讯盒子T1,必不可少的就是刷机,刷机一直爽,一直刷机一直爽,这样的快乐一般人体会不到。原来斐讯盒子N1,T1,还有斐讯K2P路由器也变成了性价比超高的东东,而且众多大神也带来了超多可玩性非常高的固件和破解。楼主今天扒到了相关超高...

贾氏鸣天鼓健耳养肾操

贾氏鸣天鼓健耳养肾操

《贾氏鸣天鼓健耳养肾操》鸣天鼓是健耳强肾治耳病的古法,贾氏越云自创的鸣天鼓健耳养肾操是在古法的基础上创建。顺序:1静坐挺胸。2双手放心脏位置的胸口,左手掌盖住右手掌。3闭目静心,深呼吸19下。4双手相互搓揉,让手掌发热。5用发热的双手手掌严...

Nginx服务崩溃自动重启脚本(监控进程服务并自动重启进程服务)脚本

有一台服务器运行着Ngin最近突然有一次崩溃,导致使用方当天无法访问网页端,然后我不得不登录服务器,检查各项服务,发现nginx崩溃了,于是重启Nginx,问题解决。后来为了防止Nginx再发生这种情况给运维带来的运维成本,于是写了一个脚本...

python调用WinRAR暴力获取压缩密码 用网址做解压密码

原理很简单:python通过调用WinRAR.exe暴力获取压缩密码,要求必须安装WinRAR或者有WinRAR.exe这个文件(单个文件就行)。个人实测zip和rar格式都能用。缺点:费时间,费cpu一、不生成密码本:4位全数字密码:im...

百度云网盘高速下载方法[测试可用]

百度云网盘高速下载方法[测试可用]

大前提这是一个油猴脚本,安装脚本之前,必须先安装油猴浏览器扩展(如已安装则跳过):【第一步】下载油猴 --> 如有提示安装,则直接安装即可,否则继续执行第二步【第二步】安装油猴 --> 参考其中章节:&nbs...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。