ollama

Ollama 是一个开源的本地大语言模型（LLM）运行框架，旨在简化在个人电脑或本地服务器上下载、运行和管理开源大语言模型的过程。它支持 macOS、Linux 和 Windows（通过 WSL），提供命令行接口，兼容多种主流模型（如 Llama 3、Phi-3、Gemma、Qwen 等），无需依赖云端 API 即可实现离线推理与开发。

软件优势

1. 本地运行：所有模型均在用户设备上运行，保障数据隐私与离线可用性。
2. 开箱即用：一键安装，自动处理模型下载、依赖配置与 GPU 加速（如支持 CUDA 或 Metal）。
3. 模型丰富：内置模型库（可通过 ollama list 查看），支持自定义 Modelfile 构建专属模型。
4. 轻量高效：资源占用优化良好，可在消费级笔记本上流畅运行 3B–8B 参数规模模型。
5. 开发友好：提供 REST API 和 Python SDK，便于集成至应用、脚本或 AI 工作流中。

使用教程

1. 安装：访问官网 ollama.com 下载对应系统安装包，或执行终端命令一键安装（如 macOS 使用 brew install ollama）。
2. 启动服务：终端运行 ollama serve（后台自动启动，通常无需手动执行）。
3. 拉取模型：执行 ollama run llama3（首次运行将自动下载并加载 Llama 3 模型）。
4. 交互对话：模型加载后，直接输入文本即可获得本地响应；支持 Ctrl+D 退出交互模式。
5. 自定义模型：编写 Modelfile 文件，使用 ollama create mymodel -f Modelfile 构建并运行定制化模型。

更新日志

最新稳定版（v0.3.10，2024年10月发布）：新增对 Llama 3.2 视觉多模态模型的实验性支持；优化 Windows WSL 下的 GPU 利用率；修复部分中文 tokenization 异常；增强 Ollama CLI 的错误提示可读性；同步更新内置模型索引与安全补丁。完整日志详见 GitHub 官方仓库 releases 页面。