Ollama

Ollama 是什么

Ollama 是一款开源的大语言模型本地部署与运行工具，让用户在自己的电脑上便捷地下载、管理和调用 Llama、DeepSeek、Mistral、Gemma、Phi 等主流开源模型。项目基于 MIT 许可证发布，核心代码完全开源，官方口号是「用开源模型自动化你的工作，同时保证数据安全」。

除了本地版本，Ollama 后来还推出了云端服务，可以在数据中心级硬件上运行本地设备跑不动的超大模型，本地端和云端使用同一套命令行和 API 接口。

核心功能

一行命令跑模型：安装后通过 ollama run llama3 这样简单的命令即可下载并启动模型，省去了手动配置 CUDA、量化、推理框架的繁琐步骤。

丰富的模型库：官方模型库收录了 Llama、DeepSeek、Qwen、Mistral、Gemma、Phi 等数十个开源模型系列，覆盖对话、代码、多模态等多种用途，并提供不同参数量和量化版本。

本地 API 与集成：Ollama 会在本地起一个 HTTP 服务，兼容常见的调用格式，方便接入 LangChain、Open WebUI、各类聊天客户端以及自建应用。

Modelfile 自定义：类似 Dockerfile 的写法，可以基于已有模型修改系统提示词、参数或叠加微调权重，快速定制专属角色或工作流。

云端模型访问：付费的 Cloud 方案可以直接调用 GPT-OSS、Kimi、DeepSeek 等大参数模型，无需本地高端 GPU。

优势与局限

优势在于安装简单、生态成熟、社区活跃，是目前最主流的本地大模型运行方案之一。数据全程留在本地，对隐私敏感的场景友好。

局限也比较明显：本地推理速度和模型能力受限于自己的硬件，跑 70B 以上级别的模型需要较高配置的显卡；相比闭源商用模型，开源模型在部分复杂推理任务上仍有差距；桌面 GUI 相对简单，深度使用还是需要一些命令行基础。

适合谁用

• 注重数据隐私的开发者和企业：代码、文档、客户数据不出本机，避免合规风险。
• 想低成本试用开源模型的研究者和学生：免费即可在自己的设备上体验最新开源模型。
• AI 应用开发者：需要一个稳定的本地推理后端来构建 RAG、Agent 或桌面工具。
• 对闭源订阅感到束缚的重度用户：希望在多个开源模型之间自由切换的人群。

对完全不会用命令行、只想开箱即用聊天体验的普通用户来说，Ollama 的门槛仍略高于直接用网页版 ChatGPT。

如何开始

1. 访问 ollama.com 下载对应系统（macOS、Windows、Linux）的安装包。
2. 安装完成后打开终端，执行 ollama run llama3 或换成任意想试的模型名，首次运行会自动下载权重。
3. 想接入自己的程序，可以调用本地默认的 HTTP API；也可以搭配 Open WebUI 等前端获得图形化界面。
4. 如需运行超大模型，可到官网 Pricing 页面查看官方 Cloud 方案，含免费额度以及付费的 Pro、Team 等档位。