ollama

Ollama 是一个开源的本地大语言模型（LLM）运行框架，旨在简化在个人电脑或本地服务器上下载、运行和管理各类开源大模型（如 Llama、Phi、Qwen、Gemma 等）的流程。它提供简洁的命令行接口和可选的 Web UI，支持 macOS、Linux 和 Windows（通过 WSL），无需复杂配置即可快速启动模型进行推理。

软件优势

1. 一键拉取与运行：支持通过 ollama run <model-name> 命令自动下载并启动主流开源模型。

2. 本地离线运行：所有模型均在本地执行，数据不上传云端，保障隐私与安全。

3. 轻量高效：采用优化的推理后端，对硬件资源占用较低，可在消费级显卡或无 GPU 环境下运行部分模型。

4. 模型管理便捷：内置模型列表、删除、重命名及自定义 Modelfile 构建功能。

5. 开放生态兼容：支持 OpenAI 兼容 API，便于集成到现有工具链或开发自定义应用。

使用教程

1. 安装：访问官网 ollama.com 下载对应系统安装包，或通过终端执行一键脚本（如 macOS/Linux 使用 curl -fsSL https://ollama.com/install.sh | sh）。

2. 启动模型：打开终端，输入 ollama run llama3（或其他模型名），首次运行将自动下载并进入交互式对话界面。

3. 创建自定义模型：编写 Modelfile 文件，使用 ollama create mymodel -f Modelfile 构建专属配置模型。

4. 启用 Web UI：运行 ollama serve 后访问 http://localhost:11434，或直接使用第三方 Web 前端（如 Open WebUI）连接。

5. 集成调用：通过 curl 或编程语言发送 HTTP 请求至 http://localhost:11434/api/chat 实现程序化交互。

更新日志

最新稳定版 v0.3.9（2024年7月发布）：增强 Windows 原生支持；优化 GPU 内存复用机制；新增对 Qwen2、Phi-3-mini 等模型的官方适配；修复多线程并发请求下的响应延迟问题；Web API 增加流式响应超时控制选项。详细变更请参阅 GitHub 官方仓库的 RELEASES 页面。