ollama

Ollama 是一个开源的本地大语言模型（LLM）运行框架，旨在简化在个人电脑或本地服务器上下载、运行和管理各类开源大模型（如 Llama、Phi、Qwen、Gemma 等）的流程。它提供简洁的命令行接口和可选的 Web UI，支持 macOS、Linux 和 Windows（通过 WSL），无需复杂配置即可快速启动模型进行推理。

软件优势

1. 一键拉取与运行：支持通过 ollama run <model-name> 命令自动下载并启动模型，无需手动处理权重或依赖。

2. 轻量高效：专为本地部署优化，资源占用低，可在消费级 GPU 或纯 CPU 环境下流畅运行中小规模模型。

3. 模型管理便捷：内置模型列表、删除、导出/导入功能，支持自定义 Modelfile 构建专属模型配置。

4. 开放生态兼容：遵循开放模型协议，支持 GGUF 格式模型，并可与 LangChain、LlamaIndex 等工具链集成。

5. 隐私友好：所有计算均在本地完成，数据不出设备，保障用户信息与对话内容安全。

使用教程

1. 安装：访问官网 ollama.com 下载对应系统安装包，或通过终端执行官方一键安装脚本（如 macOS 使用 brew install ollama）。

2. 启动模型：安装完成后，在终端输入 ollama run llama3（或其他已知模型名），首次运行将自动下载并启动交互式会话。

3. 查看模型：使用 ollama list 查看已安装模型；用 ollama search <keyword> 浏览可用模型。

4. 创建自定义模型：编写 Modelfile 文件，通过 ollama create mymodel -f ./Modelfile 构建并运行定制化模型。

5. 启用 Web UI（可选）：运行 ollama serve 后访问 http://localhost:11434，或使用第三方 Web UI 工具连接本地服务。

更新日志

最新稳定版 v0.3.9（2024年7月发布）：增强 Windows WSL 支持稳定性；新增对 Qwen2、Gemma 2 等新模型的开箱即用适配；优化 CPU 推理性能与内存管理；修复部分 Modelfile 解析异常；提升 API 响应一致性与错误提示清晰度。详细变更请参阅 GitHub 官方仓库的 RELEASES 页面。