Ollama 安装¶

在这篇文章中

• Ollama 简介
• 在 Linux 上安装 Ollama
• 在 Linux 上更新 Ollama
• 安装语言模型 LLM
• 环境变量

Ollama 简介¶

Ollama 是一个在本地计算资源上运行和管理大型语言模型 (LLM) 的框架。它支持加载和部署选定的 LLM，并通过 API 提供访问。

系统要求：

在 Linux 上安装 Ollama¶

下载并安装 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

对于 Nvidia GPU，添加 Environment="OLLAMA_FLASH_ATTENTION=1" 以提高令牌生成速度。

Ollama 将可通过 http://127.0.0.1:11434 或 http://<you_server_IP>:11434 访问。

在 Linux 上更新 Ollama¶

要更新 Ollama，您需要重新下载并安装其二进制包：

curl -fsSL https://ollama.com/install.sh | sh

Environment="OLLAMA_HOST=0.0.0.0" 
Environment="OLLAMA_ORIGINS=*"

并使用以下命令重启服务：

systemctl daemon-reload
service ollama restart

安装语言模型 LLM¶

您可以在 此页面 找到可用语言模型的列表。

要安装模型，请单击其名称，然后在下一页选择模型的大小和类型。从右侧窗口复制安装命令并在终端/命令行中运行：

ollama run llama3

下载模型后，重启服务：

service ollama restart

有关 Ollama 的更多信息，您可以阅读 开发者文档。

环境变量¶

在 Ollama 服务中将此变量设置为 Environment="VARIABLE=VALUE"。