ollama离线部署

离线安装ollama

下载ollama安装包

官网地址：https://ollama.com/download/linux
GitHub手动安装文档地址：https://github.com/ollama/ollama/blob/main/docs/linux.md
安装包下载地址：https://ollama.com/download/ollama-linux-amd64.tgz

解压

上传安装包到服务器，并解压

tar -xzf ollama-linux-amd64.tgz

创建ollama.service文件

vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/你的安装位置/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
#指定模型存储位置，可以直接在外网下载好模型，打包解压到内网的ollama的模型目录下，就能实现离线安装了
Environment="OLLAMA_MODELS=你的模型目录"
#解决ollama无法访问的问题
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=default.target

修改完之后，刷新
sudo systemctl daemon-reload

启动相关命令

systemctl enable ollama
systemctl start ollama
systemctl status ollama
systemctl stop ollama
systemctl restart ollama

添加环境变量

export PATH=$PATH:/home/hldev/ChatGPT/soft/ollama/bin

source ~/.bashrc