Ollama 使用指南：不付订阅费，在本地运行 AI

发布于: 2026年10月23日

阅读时间: 4 min

主题: 技术

作者: Leandro Valencia

#ollama#ollama 使用#本地 ai#本地 llm#安装 ollama#modelfile#ollama api#lm studio#隐私#中小企业#创业公司

在自己电脑上运行 AI 模型的 Ollama 指南：需要多少内存、在 Mac、Windows 和 Linux 上安装、常用命令、Modelfile 以及 11434 端口的本地 API。

简短回答： Ollama 是一款免费程序，能下载开放的 AI 模型并在你自己的电脑上运行。几分钟就能装好，一条命令拉取模型，你就拥有一个聊天界面和一个本地 API，不会向第三方服务器发送任何内容。决定它跑得好不好的不是处理器，而是你有多少内存来加载模型。

本指南覆盖完整流程：中小企业或创业公司为什么要在本地运行 AI、需要什么硬件、怎么安装和配置 Ollama、怎么接入其他工具，以及什么时候 LM Studio 或 Jan 更合适。如果你想知道该装哪个模型，请看 2026 年最佳 Ollama 模型。

Ollama 是什么（以及不是什么）

Ollama 是一个在本地打包、下载和提供语言模型服务的引擎。它以后台服务的形式安装，有三种用法：

终端，使用 ollama run、ollama pull 等命令。
桌面应用，Mac 和 Windows 上带聊天窗口（Linux 只有终端）。
HTTP API，地址是 http://localhost:11434，兼容 OpenAI 格式，可以连接编辑器、自动化流程或你自己的应用。

它不是什么：Ollama 本身不是模型。它是运行第三方模型的程序，比如 Qwen、Gemma、gpt-oss、Llama、DeepSeek 等。回答质量取决于你选的模型和你的硬件。

为什么本地 AI 对你的生意有价值

对中小企业或刚起步的创业公司来说，本地 AI 不是技术潮流，而是解决订阅模式的三个具体问题。

数据不出电脑

在本地使用 Ollama 时，提示词和回答都在你的机器上处理。没有服务商保存对话，也没有需要逐字细读的数据使用政策。当你处理自有源代码、财务模型、合同或客户名单时，这一点很重要，而这些恰恰是不该贴进公共聊天的内容（详见哪些内容不该发给 ChatGPT）。

本地隐私也有边界：它只在数据留在你电脑上时起作用。如果硬盘没加密，或者半个团队共用一台电脑，风险只是换了个地方，并没有消失。

成本不再随用量增长

商用 API 按 token 计费：自动化越多，花得越多。用本地模型，成本已经花在了设备上，每多一次查询只多一点电费。没有每小时的用量上限，月底账单也不会有意外。

但这不等于免费。要把硬件、配置时间算进去，还要考虑一个 9B 的本地模型达不到前沿模型的水平。我在 2026 年 AI 的真实价格里用数字对比了几种场景。

离线可用，不依赖服务商

断网或服务商故障时，本地模型照样能回答。对于批量任务（分拣几百封邮件、从发票里提取数据、总结内部文档），这意味着可以放心让它一直跑，不用担心配额或宕机。

什么时候不适合

对任务要诚实。如果你需要长链推理、在大型代码库上工作的智能体，或者出错就会赔钱的回答，云端前沿模型仍然更好。对大多数人来说，最合理的策略是混合使用：大批量和敏感数据放本地，难题交给云端。这和不要依赖单一 AI 服务商是同一个思路。

运行本地 LLM 需要什么硬件

关键问题不是你有什么处理器，而是模型能用多少内存，以及数据在这块内存里移动得有多快。

CPU、NVIDIA GPU 还是 Apple Silicon

只有 CPU（x86）： 适合测试和 2B 到 4B 的小模型。能跑，但慢，因为系统内存带宽有限。
NVIDIA GPU： 只要模型能放进显卡显存，就是每秒 token 数最快的选择。放不下时，Ollama 会把层拆分到 GPU 和 CPU 上，速度会大幅下降。
Apple Silicon（M1 到 M4）： 内存是统一的，GPU 可以使用电脑大部分内存。一台 64 GB 或 128 GB 的 MacBook Pro 能加载在 PC 上需要好几张显卡才能跑的模型。同一模型下它比高端 NVIDIA 慢，但能跑到 PC 够不着的规模。

什么是量化

量化是降低模型权重精度、让它占用更少内存的方法。你会看到这几个级别：

FP16： 全精度，每个参数 2 字节。保真度最高，内存占用也最大。
Q8： 8 位，每个参数 1 字节。内存减半，质量损失几乎察觉不到。
Q4_K_M： 4 位，每个参数约 0.5 字节。内存只有 FP16 的四分之一，是本地使用的实际标准。质量略有下降，但日常任务中很难察觉。

Ollama 的模型几乎默认都以 Q4 下载。我在模型指南里介绍了能改善这种平衡的 QAT 和 MLX 版本。

怎么计算所需内存

一个快速公式：

内存（GB）≈ 参数量（十亿）× 每个权重的字节数 + 2 到 4 GB 的上下文空间

一个 Q4 的 8B 模型权重约 4 GB，再加上上下文（KV cache）的空间：6 GB 能启动，8 GB 用起来舒服。

模型规模	量化	最低内存	舒适内存
7B / 8B	Q4_K_M	6 GB	8 GB
7B / 8B	Q8	9 GB	12 GB
7B / 8B	FP16	16 GB	20 GB
14B	Q4_K_M	12 GB	16 GB
32B	Q4_K_M	20 GB	24 GB
70B	Q4_K_M	40 GB	48–64 GB

以上是估算：实际占用会随你设置的上下文窗口增加。如果模型很慢，先检查它是否完整放进了 GPU（下面会教你怎么看）。

先装哪个模型

不必从最大的开始。2026 年的起点建议：

8 GB 内存： qwen3.5:4b。
16 GB： qwen3.5:9b，质量和体积平衡得最好。
24 GB 显存或 32 GB 的 Mac： qwen3.5:27b，编程用的话选 qwen3-coder:30b。

按内存划分、包含 Gemma 4、gpt-oss 和嵌入模型的完整对比，见 2026 年最佳 Ollama 模型。如果在两大主力家族之间犹豫，可以看 Qwen vs Gemma。

一步步安装 Ollama

macOS

从 ollama.com/download 下载安装包，把应用拖进"应用程序"并打开。应用会启动服务，并把 ollama 命令加到终端。

Windows

在同一页面下载并运行 OllamaSetup.exe。不需要 WSL：它原生运行，会检测兼容的 NVIDIA 和 AMD 显卡，并以图标形式常驻系统托盘。

Linux

一条命令安装服务：

curl -fsSL https://ollama.com/install.sh | sh

和所有交给 sh 执行的脚本一样，你可以先下载下来读一遍再运行。在 Linux 上，Ollama 作为 systemd 服务运行。

检查是否正常：

ollama --version

Ollama 常用命令

命令	作用
`ollama run <模型>`	本地没有就先下载，然后在终端打开聊天
`ollama pull <模型>`	只下载模型，不打开聊天
`ollama list`	列出已下载的模型及大小和日期
`ollama ps`	显示已加载到内存的模型，以及它跑在 GPU 还是 CPU 上
`ollama show <模型>`	显示模型详情：参数、量化和上下文
`ollama rm <模型>`	删除模型以释放磁盘空间

真正的第一次使用：

ollama pull qwen3.5:9b
ollama run qwen3.5:9b

在聊天中输入 /bye 退出。第一次务必看一下 ollama ps： 如果处理器一栏显示类似 40%/60% CPU/GPU，说明模型没能完整放进你的 GPU。换个更小的模型，或者减小上下文。

用 Modelfile 定制模型

Modelfile 是一个文本文件，用来定义模型的行为：系统提示词、温度、上下文大小。有了它，你就能拥有一个专门做某件事的助手，不必每次聊天都重复指令。

FROM qwen3.5:9b

# 温度：0 = 回答更确定，1 = 更有创意
PARAMETER temperature 0.2

# 上下文窗口（token 数）
PARAMETER num_ctx 8192

SYSTEM """
你是一位注重安全的资深软件架构师。
回答直接、技术上准确，不说废话，使用 Markdown。
"""

保存为 Modelfile 并打包：

ollama create my-architect -f ./Modelfile
ollama run my-architect

关于上下文： Ollama 默认会根据显存设定上下文窗口，显存低于 24 GB 时从 4,096 个 token 起步。用来总结长文档或运行编程智能体就不够了。可以在 Modelfile 里用 num_ctx、对整个服务器用 OLLAMA_CONTEXT_LENGTH 环境变量，或在应用设置里调大。上下文越大越占内存，调整后记得再看一次 ollama ps。

如何使用 Ollama 本地 API（11434 端口）

Ollama 在 http://localhost:11434 提供 HTTP 服务，有两种形式：

原生 API： /api/generate 和 /api/chat。
兼容 OpenAI 的 API： /v1，任何已经对接 OpenAI 的 SDK 或工具都能直接用 Ollama。

测试调用：

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3.5:9b",
  "prompt": "用三点总结为什么在本地运行 AI 能降低成本",
  "stream": false
}'

用兼容 OpenAI 的 API 时，代码里只需改基础 URL：

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
response = client.chat.completions.create(
    model="qwen3.5:9b",
    messages=[{"role": "user", "content": "给这封邮件分类：..."}],
)
print(response.choices[0].message.content)

SDK 要求填写 api_key，但 Ollama 会忽略它。

接入编辑器和编程智能体

OpenCode 等工具支持自定义服务商：把基础 URL 指向 http://localhost:11434/v1 并选好模型，就能在代码不离开本机的情况下获得补全和编程帮助。我在如何安装和配置 OpenCode里一步步讲了设置方法。用于智能体时，请选择面向代码的模型，并把上下文调到 32K 或以上。

接入 Open WebUI、Docker 或局域网中的其他电脑

默认情况下，Ollama 只监听 127.0.0.1。如果你要从 Docker 容器或局域网里的其他电脑连接 Open WebUI 这类界面，需要在服务上设置以下环境变量：

OLLAMA_HOST=0.0.0.0，让它接受来自 localhost 以外的连接。
OLLAMA_ORIGINS，如果有网页应用从浏览器直接调用 API，在这里填写允许的来源。

注意安全： Ollama 的 API 没有身份验证。设为 0.0.0.0 后，同一网络中的任何人都能使用你的模型。只在可信网络中或带身份验证的代理后面这样做，绝不要把 11434 端口开放到互联网。除测试外，避免使用 OLLAMA_ORIGINS="*"。

Ollama vs LM Studio vs Jan：选哪个

三者都能在本地运行模型，区别在于它们为什么而设计。

维度	Ollama	LM Studio	Jan
定位	把 AI 接入其他工具的服务和 API	发现、测试和比较模型的图形界面应用	开源聊天应用，ChatGPT 的本地替代
界面	终端和 API；Mac 和 Windows 有简单的聊天应用	功能完整的图形界面，带可视化设置	图形化聊天界面
本地 API	在 11434 端口始终开启	需要在应用里手动启动服务器	兼容 OpenAI 的服务器，可在设置中开启
模型来源	Ollama 模型库，可导入 GGUF	直接从 Hugging Face 下载 GGUF	下载模型，也可连接其他后端
适合	自动化、无界面服务器、编辑器和智能体	比较模型和量化版本、测试提示词	想要私密聊天的非技术用户

我的建议：要把 AI 接进某样东西（编辑器、脚本、工作流），用 Ollama；想先探索模型再决定，用 LM Studio；需要给不会打开终端的人一个私密聊天，用 Jan。它们并不互斥。

算一算能省多少

把一部分工作交给本地模型，只有在数字算得过来时才有意义。Crea Cosas 的两个免费工具可以帮你看清楚：

利润率计算器： 从项目成本里减去你现在为订阅和 token 支付的费用，看看利润率能提升多少。
商业模式画布： 把这个变化带到成本结构模块。原来随每个客户增长的支出，变成一项可以摊销的固定成本。

把硬件和配置时间也算进去。如果每月节省的钱在合理时间内收不回设备成本，就继续用云端，等用量增长后再重新评估。

总结

在本地运行 AI 已经不只是实验室里的事。有了 Ollama、一台 16 GB 的电脑和一个选对的模型，你就有了一个没有月费的私人助手，以及一个能接入你现有工具的 API。它不能在所有事情上替代前沿模型，但可以替你承担大部分日常批量工作，以及那些不该离开公司的数据。从小模型开始，看看它是否真的有用，再逐步扩展。