ollama

Ollama 是一个开源的本地大语言模型（LLM）运行框架，旨在简化在个人电脑或本地服务器上下载、运行和管理各类开源大模型（如 Llama、Phi、Qwen、Gemma 等）的流程。它提供简洁的命令行接口和可选的 Web UI，支持 macOS、Linux 和 Windows（通过 WSL），无需复杂配置即可快速启动模型进行推理与交互。

软件优势

1. 一键拉取与运行：通过 ollama run <model-name> 即可自动下载并启动模型，无需手动处理权重、量化或环境依赖。
2. 轻量高效：内置优化的推理引擎，支持 GPU 加速（CUDA、Metal）及 CPU 推理，资源占用低，适合消费级硬件。
3. 模型管理便捷：支持列出、删除、创建自定义模型（通过 Modelfile）、导出/导入模型包。
4. 开发友好：提供标准 REST API 和 OpenAI 兼容接口，便于集成到应用、脚本或开发工具中。
5. 完全离线运行：所有模型和推理均在本地完成，保障数据隐私与使用安全。

使用教程

1. 安装：访问官网 ollama.com 下载对应系统安装包，或通过终端执行官方一键安装命令（如 macOS 使用 brew install ollama）。
2. 启动服务：安装后终端输入 ollama serve（后台服务自动运行，通常无需手动执行）。
3. 运行模型：执行 ollama run llama3（或其他已支持模型名），首次运行将自动下载并进入交互式聊天界面。
4. 创建自定义模型：编写 Modelfile，使用 ollama create mymodel -f ./Modelfile 构建专属配置模型。
5. 调用 API：启动后访问 http://localhost:11434/api/chat，按文档发送 JSON 请求，实现程序化调用。

更新日志

最新稳定版（v0.3.9，2024年7月发布）：新增对 Qwen2、Gemma 2 的原生支持；优化 Windows WSL 性能与稳定性；增强 Modelfile 语法支持（如 FROM 参数别名）；修复多GPU设备识别异常；Web UI 增加模型状态监控面板。历史版本持续完善模型兼容性、API 响应速度与错误提示清晰度。