ollama

Ollama 是一个开源的本地大语言模型（LLM）运行框架，旨在简化在个人电脑或本地服务器上下载、运行和管理各类开源大模型（如 Llama、Phi、Qwen、Gemma 等）的流程。它提供简洁的命令行接口和可选的 Web UI，支持 macOS、Linux 和 Windows（通过 WSL），无需复杂配置即可快速启动模型进行推理与交互。

软件优势

1. 一键拉取与运行：通过 ollama run <model-name> 即可自动下载并启动模型，无需手动处理权重、量化或环境依赖。
2. 轻量高效：内置优化的推理引擎，支持 GPU 加速（CUDA、Metal）及 CPU 推理，资源占用低，适合消费级硬件。
3. 模型管理便捷：支持列表查看、创建自定义 Modelfile、保存/删除模型版本，便于实验与迭代。
4. 开放可扩展：提供 REST API 和 SDK（Python、Go 等），方便集成至自有应用或工作流。
5. 完全离线运行：所有模型与推理均在本地完成，保障数据隐私与使用自主性。

使用教程

1. 安装：访问官网 ollama.com 下载对应系统安装包，或使用终端命令（如 macOS：brew install ollama）一键安装。
2. 启动服务：安装后运行 ollama serve（后台自动启动，通常无需手动执行）或直接调用命令。
3. 运行模型：执行 ollama run llama3（或其他已知模型名），首次会自动下载，随后进入交互式对话界面。
4. 创建自定义模型：编写 Modelfile，使用 ollama create mymodel -f Modelfile 构建专属配置模型。
5. 查看与管理：用 ollama list 查看本地模型，ollama rm <model> 删除不再需要的模型。

更新日志

最新稳定版（v0.3.1，2024年7月发布）：新增对 Windows 原生支持（非仅 WSL）、改进 GPU 内存管理、增强 Web UI 的响应式布局；修复部分中文 tokenization 兼容性问题；提升 Modelfile 中 FROM 指令的远程模型解析稳定性。历史版本持续优化模型加载速度、API 错误提示及多平台构建一致性。