ollama

Ollama 是一个开源的本地大语言模型（LLM）运行框架，旨在简化在个人电脑或本地服务器上下载、运行和管理各类开源大模型（如 Llama、Phi、Qwen、Gemma 等）的流程。它提供简洁的命令行接口和可选的 Web UI，支持 macOS、Linux 和 Windows（通过 WSL），无需复杂配置即可快速启动模型进行推理与交互。

软件优势

1. 一键拉取与运行：通过 ollama run <model-name> 命令即可自动下载并启动模型，无需手动处理权重、量化或环境依赖。

2. 轻量高效：内置优化的推理引擎，支持 GPU 加速（CUDA、Metal）和模型量化，对硬件资源要求相对友好。

3. 本地隐私优先：所有模型运行完全在本地设备上，数据不出设备，保障用户输入与生成内容的私密性。

4. 可扩展性强：支持自定义 Modelfile 构建专属模型，兼容 GGUF 格式，便于集成微调后模型或添加系统提示、工具函数等。

5. 开发友好：提供 REST API 和多种编程语言 SDK（如 Python、Go），方便嵌入到应用或自动化工作流中。

使用教程

1. 安装：访问官网 ollama.com 下载对应系统安装包，或通过终端执行一键脚本（如 macOS/Linux 使用 curl -fsSL https://ollama.com/install.sh | sh）。

2. 启动模型：打开终端，输入 ollama run llama3（或其他模型名，如 qwen2、phi3），首次运行将自动下载并启动交互式对话界面。

3. 查看已安装模型：运行 ollama list 列出本地所有模型；使用 ollama ps 查看正在运行的实例。

4. 创建自定义模型：编写 Modelfile 文件，指定基础模型、系统提示、参数等，再执行 ollama create mymodel -f Modelfile 构建。

5. 启用 Web UI：运行 ollama serve 后访问 http://localhost:11434/ 即可使用图形化界面（需浏览器支持）。

更新日志

最新稳定版（v0.3.1，2024年7月发布）：新增对 Windows 原生支持（非仅 WSL）、优化 GPU 内存占用、增强 Modelfile 的 FROM 指令兼容性；修复部分 GGUF 模型加载异常问题；Web UI 增加模型切换与历史会话保存功能。历史版本持续保持向后兼容，所有更新均公开于 GitHub 仓库（github.com/ollama/ollama）。