这里使用 ollama+deepseek+Chatbox 的方案,本地部署deepseek
(实测arm架构也可用,安装和部署方法一样)
一、下载相关软件
使用到的相关软件,可以从以下软件的官网上获取
1.ollama官网链接(www.ollama.com)
ollama官方安装手册:https://docs.ollama.com/linux ,建议用迅雷下载相对比较快一些:
- x86 : https://ollama.com/download/ollama-linux-amd64.tar.zst
- arm : https://ollama.com/download/ollama-linux-arm64.tar.zst
2.chatbox官网链接:(www.chatboxai.app)
- x86: https://download.chatboxai.app/releases/Chatbox-1.9.5-x86_64.AppImage
- arm: https://download.chatboxai.app/releases/Chatbox-1.9.5-arm64.AppImage
二、安装ollama
1.安装命令如下(实际上就是把文件解压到/usr目录下):
sudo apt install zstd
sudo tar -C /usr -xf ollama-linux-amd64.tar.zst
2.启动ollama
启动命令如下:
ollama serve
Arm服务器会报错,处理方法见文末
3.设置开机启动
3.1.为Ollama创建一个用户和组:
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
3.2.创建服务文件:/etc/systemd/system/ollama.service:
cat > /etc/systemd/system/ollama.service << "EOF"
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=multi-user.target
EOF
3.3.启动服务并设置开机启动
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl enable ollama
4.ollama官网手册:
https://github.com/ollama/ollama/blob/main/docs/linux.md
如果需要了解更多关于ollama使用的命令及说明,可以点击ollama官网链接查看。
三、通过ollama拉取并运行deepseek-r1模型
如果显卡较好的,可以运行7b 、8b、14b、32b等版本,以下是运行1.5b模型的命令:
ollama run deepseek-r1:1.5b
如下图所示:

如上图所示,已经成功拉取并可以与deepseek对话了;
如果需要运行其他版本,可以将命令时的1.5b修改民需要的版本,比如8b,则执行以下命令:
ollama run deepseek-r1:8b
注意:现在太多人部署和访问,导致下载较慢,需要耐心等待,如果下载出错,建议重新执行命令拉取,直致成功。
免费模型:(需要登录ollama账号)
ollama run glm-5:cloud
四、安装chatbox
经以上操作后虽然已经可以使用deepseek,但是终端的交互让聊天很不方便,可以使用chatbox、open-webui、page_assist插件等使用,这里以chatbox为例:
1.给前面下载好的chatbox-文件,设置可执行权限:
2.双击运行,第一次运行会自动跳出设置界面:
3.保存后就可以正常使用了,如下图所示:
常见问题
麒麟arm服务器操作系统上可能会报以下信息:

需要更换libstdc++.so.6.0.28文件,文件下载地址: https://www.jianguoyun.com/p/DeAiMR4Qn9eQDBiNqOoFIAA#dir=%2Fkos-server-arm-deepseek::mode=0
替换命令:
# 将下载的文件移动到 /usr/lib64/ 目录下
mv libstdc++.so.6.0.28 /usr/lib64/libstdc++.so.6.0.28
# 替换软链接
ln -sf /usr/lib64/libstdc++.so.6.0.28 /usr/lib64/libstdc++.so.6
不用重启系统,执行 ollama serve 正常运行如下图所示:
其他
1.列出已安装的模型
curl http://localhost:11434/api/tags
2.调用模型测试
curl -X POST http://localhost:11434/api/generate \
-H "Content-Type: application/json" \
-d '{
"model": "deepseek-r1:1.5b",
"prompt": "hello",
"stream": true
}'




