ollama

Ollama 是一个开源的本地大语言模型（LLM）运行框架，旨在简化在个人电脑或本地服务器上下载、运行和管理各类开源大模型（如 Llama、Phi、Qwen、Gemma 等）的流程。它提供简洁的命令行接口和可选的 Web UI，支持 macOS、Linux 和 Windows（通过 WSL），无需复杂配置即可快速启动模型进行推理与交互。

软件优势

1. 一键拉取与运行：通过 ollama run <model-name> 即可自动下载并启动主流开源模型。

2. 轻量高效：专为本地部署优化，资源占用低，支持 CPU 和 GPU（CUDA/ROCm）加速。

3. 模型管理便捷：内置模型列表、删除、导出/导入及自定义 Modelfile 构建能力。

4. 开放生态：完全开源（Apache 2.0 许可），社区活跃，持续支持新模型与功能扩展。

5. 隐私友好：所有计算与数据均在本地完成，不依赖云端服务，保障用户数据自主性。

使用教程

1. 安装：访问官网 ollama.com 下载对应系统安装包，或通过终端执行一键脚本（如 macOS/Linux 使用 curl -fsSL https://ollama.com/install.sh | sh）。

2. 启动模型：安装完成后，在终端输入 ollama run llama3（或其他模型名），首次运行将自动下载并进入交互式聊天界面。

3. 查看模型：使用 ollama list 查看已安装模型；用 ollama search <keyword> 浏览可用模型。

4. 创建自定义模型：编写 Modelfile 文件，通过 ollama create mymodel -f ./Modelfile 构建专属模型。

5. 启用 Web UI（可选）：运行 ollama serve 后访问 http://localhost:11434 在浏览器中使用图形化界面。

更新日志

最新稳定版（v0.3.10，2024年9月发布）：新增对 Qwen2、Phi-3.5-mini 的原生支持；优化 GPU 内存复用机制，推理速度提升约15%；修复 Windows WSL 下模型加载失败问题；增强 Modelfile 中 system 指令解析兼容性；Web UI 增加模型切换与历史会话保存功能。详细变更请参阅 GitHub 官方仓库的 RELEASES 页面。