ollama

Ollama 是一个开源的本地大语言模型（LLM）运行框架，旨在简化在个人电脑或本地服务器上下载、运行和管理各类开源大模型（如 Llama、Phi、Qwen、Gemma 等）的流程。它提供简洁的命令行接口和可选的 Web UI，支持 macOS、Linux 和 Windows 系统，无需复杂配置即可快速启动模型进行推理。

软件优势

1. 一键拉取与运行：通过简单命令（如 ollama run llama3）即可自动下载并启动预优化模型。

2. 本地离线运行：所有模型均在本地执行，数据不出设备，保障隐私与安全。

3. 轻量高效：采用自研容器化运行时，资源占用低，对中低端硬件友好。

4. 多模型统一管理：支持创建自定义 Modelfile，灵活定制模型参数、系统提示与工具集成。

5. 开放生态兼容：原生支持 GGUF 格式模型，并可无缝对接 OpenAI 兼容 API，便于集成到现有应用中。

使用教程

1. 安装：访问官网 ollama.com 下载对应系统安装包，或通过终端执行一键脚本（如 macOS/Linux 使用 curl -fsSL https://ollama.com/install.sh | sh）。

2. 启动模型：打开终端，输入 ollama run phi3（或其他模型名），首次运行将自动下载并进入交互式对话界面。

3. 创建自定义模型：编写 Modelfile 文件，使用 ollama create mymodel -f Modelfile 构建专属模型。

4. 启用 Web UI：运行 ollama serve 后访问 http://localhost:11434/ 即可使用图形化界面。

5. 集成开发：通过 HTTP API（如 POST /api/chat）调用模型，支持 Python、Node.js 等多种语言客户端。

更新日志

最新稳定版 v0.3.10（2024年7月发布）：优化 Windows WSL 支持；提升 GGUF 模型加载速度；修复多 GPU 切换异常；增强 Modelfile 中 system 指令解析稳定性；新增模型导出为 ONNX 的实验性功能。历史版本持续遵循语义化版本规范，全部变更记录可在 GitHub 官方仓库的 Releases 页面查阅。