ollama

Ollama 是一个开源的本地大语言模型（LLM）运行框架，旨在简化在个人电脑或本地服务器上下载、运行和管理各类开源大模型（如 Llama、Phi、Qwen、Gemma 等）的流程。它提供简洁的命令行接口和可选的 Web UI，支持 macOS、Linux 和 Windows（通过 WSL），无需复杂配置即可快速启动模型进行推理。

软件优势

1. 一键拉取与运行：支持通过 ollama run <model-name> 命令自动下载并启动主流开源模型。

2. 本地离线运行：所有模型均在本地执行，数据不上传云端，保障隐私与安全。

3. 轻量高效：采用优化的推理后端，对硬件资源占用较低，可在消费级显卡或无 GPU 环境下运行部分模型。

4. 模型管理便捷：内置模型列表、删除、重命名及自定义 Modelfile 构建功能。

5. 开放生态兼容：支持 Ollama 自定义格式（Modelfile）、GGUF 量化模型，并可对接 OpenAI 兼容 API 供其他工具调用。

使用教程

1. 安装：前往官网 ollama.com/download 下载对应系统安装包并完成安装。

2. 启动模型：打开终端，输入 ollama run llama3（或其他模型名），首次运行将自动下载并进入交互式对话界面。

3. 查看已安装模型：执行 ollama list 命令列出本地所有模型。

4. 创建自定义模型：编写 Modelfile 文件，运行 ollama create mymodel -f ./Modelfile 构建专属模型。

5. 启用 Web UI（可选）：执行 ollama serve 后访问 http://localhost:11434 可使用浏览器界面管理模型。

更新日志

最新稳定版（v0.3.12，2024年10月发布）主要包含：优化 macOS M系列芯片上的 Metal 推理性能；增强 Windows WSL2 的兼容性与启动稳定性；新增对 Qwen2、Phi-3-mini 等新模型的官方支持；改进 Modelfile 中 FROM 指令的远程模型解析逻辑；修复多用户环境下模型缓存路径冲突问题。