ollama

Ollama 是一个开源的本地大语言模型（LLM）运行框架，旨在简化在个人电脑或本地服务器上下载、运行和管理各类开源大模型（如 Llama、Phi、Qwen、Gemma 等）的流程。它提供简洁的命令行接口和可选的 Web UI，支持 macOS、Linux 和 Windows（通过 WSL），无需复杂配置即可快速启动模型进行推理。

软件优势

1. 一键拉取与运行：支持通过 ollama run <model-name> 命令自动下载并启动主流开源模型。

2. 本地离线运行：所有模型均在本地执行，数据不上传云端，保障隐私与安全。

3. 轻量高效：采用优化的推理后端，对硬件资源占用较低，可在消费级显卡或无 GPU 环境下运行部分模型。

4. 模型管理便捷：内置模型列表、删除、重命名及自定义 Modelfile 构建功能。

5. 开放生态兼容：支持 Ollama 自定义格式（Modelfile）、GGUF 量化模型，并可对接 OpenAI 兼容 API 供其他工具调用。

使用教程

1. 安装：前往官网 ollama.com/download 下载对应系统安装包并完成安装。

2. 启动模型：打开终端，输入 ollama run llama3（或其他模型名），首次运行将自动下载并进入交互式对话界面。

3. 查看模型：执行 ollama list 查看已安装模型；用 ollama pull qwen2 手动下载新模型。

4. 运行 Web UI（可选）：执行 ollama serve 后访问 http://localhost:11434 使用图形化界面（需额外启用或搭配第三方前端）。

5. 集成开发：通过 curl 或 Python 的 requests 库调用 http://localhost:11434/api/chat 接口实现程序化调用。

更新日志

最新稳定版（v0.3.9，2024年10月发布）：新增对 Qwen2、Phi-3-mini 的原生支持；优化 Windows WSL 启动稳定性；增强 Modelfile 中参数覆盖能力；修复多线程加载时的内存泄漏问题；Web API 响应延迟平均降低约22%。详细变更请参阅 GitHub 官方仓库的 RELEASE NOTES。