Ollama

本地运行大语言模型的工具，提供类似 Docker 的体验，一键拉取和运行模型。

• 仓库：ollama/ollama
• 星标：约 178.9k (2026-08)
• 语言：Go
• 平台：macOS、Linux、Windows

核心能力

1. 一键运行：ollama run qwen2.5 就能跑起来
2. 模型库丰富：支持 Qwen、DeepSeek、Llama、Gemma、Mistral 等主流开源模型
3. OpenAI 兼容 API：提供 REST API，兼容 OpenAI 格式
4. 多模态支持：支持视觉模型
5. 自定义模型：通过 Modelfile 定制模型

优势

• 上手最简单，几乎零配置
• 性能优化好，支持 GPU 加速
• 模型生态丰富，更新快
• 资源占用合理

劣势

• 生产环境功能不如 vLLM 完善
• 企业级特性（认证、监控）需要自建
• 不支持分布式推理

适用场景

• 个人开发者本地跑模型
• 小团队内部轻量部署
• Copilot MVP 验证阶段

更多对比见 AI Copilot 整体方案调研 和 vLLM