Ollama 使用指南：不付訂閱費，在本機執行 AI

發佈於: 2026年10月23日

閱讀時間: 4 min

主題: 技術

作者: Leandro Valencia

#ollama#ollama 使用#本機 ai#本機 llm#安裝 ollama#modelfile#ollama api#lm studio#隱私#中小企業#新創公司

在自己電腦上執行 AI 模型的 Ollama 指南：需要多少記憶體、在 Mac、Windows 和 Linux 上安裝、常用指令、Modelfile 以及 11434 埠的本機 API。

簡短回答： Ollama 是一款免費程式，能下載開放的 AI 模型並在你自己的電腦上執行。幾分鐘就能裝好，一行指令拉取模型，你就擁有一個聊天介面和一個本機 API，不會向第三方伺服器傳送任何內容。決定它跑得好不好的不是處理器，而是你有多少記憶體來載入模型。

本指南涵蓋完整流程：中小企業或新創公司為什麼要在本機執行 AI、需要什麼硬體、怎麼安裝和設定 Ollama、怎麼接入其他工具，以及什麼時候 LM Studio 或 Jan 更合適。如果你想知道該裝哪個模型，請看 2026 年最佳 Ollama 模型。

Ollama 是什麼（以及不是什麼）

Ollama 是一個在本機打包、下載和提供語言模型服務的引擎。它以背景服務的形式安裝，有三種用法：

終端機，使用 ollama run、ollama pull 等指令。
桌面應用程式，Mac 和 Windows 上有聊天視窗（Linux 只有終端機）。
HTTP API，位址是 http://localhost:11434，相容 OpenAI 格式，可以連接編輯器、自動化流程或你自己的應用程式。

它不是什麼：Ollama 本身不是模型。它是執行第三方模型的程式，例如 Qwen、Gemma、gpt-oss、Llama、DeepSeek 等。回答品質取決於你選的模型和你的硬體。

為什麼本機 AI 對你的事業有價值

對中小企業或剛起步的新創公司來說，本機 AI 不是技術潮流，而是解決訂閱模式的三個具體問題。

資料不離開電腦

在本機使用 Ollama 時，提示詞和回答都在你的機器上處理。沒有服務商保存對話，也沒有需要逐字細讀的資料使用政策。當你處理自有原始碼、財務模型、合約或客戶名單時，這一點很重要，而這些正是不該貼進公開聊天的內容（詳見哪些內容不該分享給 ChatGPT）。

本機隱私也有界限：它只在資料留在你電腦上時有效。如果硬碟沒加密，或半個團隊共用一台電腦，風險只是換了個地方，並沒有消失。

成本不再隨用量成長

商用 API 按 token 計費：自動化越多，花得越多。用本機模型，成本已經花在設備上，每多一次查詢只多一點電費。沒有每小時的用量上限，月底帳單也不會有意外。

但這不等於免費。要把硬體、設定時間算進去，還要考慮一個 9B 的本機模型達不到前沿模型的水準。我在 2026 年 AI 的真實價格裡用數字比較了幾種情境。

離線可用，不依賴服務商

斷網或服務商故障時，本機模型照樣能回答。對於批次任務（分類幾百封郵件、從發票擷取資料、摘要內部文件），這代表可以放心讓它一直跑，不用擔心額度或停機。

什麼時候不適合

對任務要誠實。如果你需要長鏈推理、在大型程式碼庫上工作的代理，或出錯就會賠錢的回答，雲端前沿模型仍然更好。對大多數人來說，最合理的策略是混合使用：大量處理和敏感資料放本機，難題交給雲端。這和不要依賴單一 AI 服務商是同一個思路。

執行本機 LLM 需要什麼硬體

關鍵問題不是你有什麼處理器，而是模型能用多少記憶體，以及資料在這塊記憶體裡移動得有多快。

CPU、NVIDIA GPU 還是 Apple Silicon

只有 CPU（x86）： 適合測試和 2B 到 4B 的小模型。能跑，但慢，因為系統記憶體頻寬有限。
NVIDIA GPU： 只要模型能放進顯示卡的顯示記憶體，就是每秒 token 數最快的選擇。放不下時，Ollama 會把層拆分到 GPU 和 CPU 上，速度會大幅下降。
Apple Silicon（M1 到 M4）： 記憶體是統一的，GPU 可以使用電腦大部分記憶體。一台 64 GB 或 128 GB 的 MacBook Pro 能載入在 PC 上需要好幾張顯示卡才能跑的模型。同一模型下它比高階 NVIDIA 慢，但能跑到 PC 達不到的規模。

什麼是量化

量化是降低模型權重精度、讓它佔用更少記憶體的方法。你會看到這幾個等級：

FP16： 全精度，每個參數 2 位元組。保真度最高，記憶體佔用也最大。
Q8： 8 位元，每個參數 1 位元組。記憶體減半，品質損失幾乎察覺不到。
Q4_K_M： 4 位元，每個參數約 0.5 位元組。記憶體只有 FP16 的四分之一，是本機使用的實際標準。品質略有下降，但日常任務中很難察覺。

Ollama 的模型幾乎預設都以 Q4 下載。我在模型指南裡介紹了能改善這種平衡的 QAT 和 MLX 版本。

怎麼計算所需記憶體

一個快速公式：

記憶體（GB）≈ 參數量（十億）× 每個權重的位元組數 + 2 到 4 GB 的上下文空間

一個 Q4 的 8B 模型權重約 4 GB，再加上上下文（KV cache）的空間：6 GB 能啟動，8 GB 用起來舒服。

模型規模	量化	最低記憶體	舒適記憶體
7B / 8B	Q4_K_M	6 GB	8 GB
7B / 8B	Q8	9 GB	12 GB
7B / 8B	FP16	16 GB	20 GB
14B	Q4_K_M	12 GB	16 GB
32B	Q4_K_M	20 GB	24 GB
70B	Q4_K_M	40 GB	48–64 GB

以上是估算：實際佔用會隨你設定的上下文視窗增加。如果模型很慢，先檢查它是否完整放進了 GPU（下面會教你怎麼看）。

先裝哪個模型

不必從最大的開始。2026 年的起點建議：

8 GB 記憶體： qwen3.5:4b。
16 GB： qwen3.5:9b，品質和大小平衡得最好。
24 GB 顯示記憶體或 32 GB 的 Mac： qwen3.5:27b，寫程式的話選 qwen3-coder:30b。

依記憶體劃分、包含 Gemma 4、gpt-oss 和嵌入模型的完整比較，見 2026 年最佳 Ollama 模型。如果在兩大主力家族之間猶豫，可以看 Qwen vs Gemma。

一步步安裝 Ollama

macOS

從 ollama.com/download 下載安裝程式，把應用程式拖進「應用程式」資料夾並開啟。應用程式會啟動服務，並把 ollama 指令加到終端機。

Windows

在同一頁面下載並執行 OllamaSetup.exe。不需要 WSL：它原生執行，會偵測相容的 NVIDIA 和 AMD 顯示卡，並以圖示形式常駐系統匣。

Linux

一行指令安裝服務：

curl -fsSL https://ollama.com/install.sh | sh

和所有交給 sh 執行的腳本一樣，你可以先下載下來讀過再執行。在 Linux 上，Ollama 以 systemd 服務的形式執行。

檢查是否正常：

ollama --version

Ollama 常用指令

指令	作用
`ollama run <模型>`	本機沒有就先下載，然後在終端機開啟聊天
`ollama pull <模型>`	只下載模型，不開啟聊天
`ollama list`	列出已下載的模型及大小和日期
`ollama ps`	顯示已載入記憶體的模型，以及它跑在 GPU 還是 CPU 上
`ollama show <模型>`	顯示模型詳情：參數、量化和上下文
`ollama rm <模型>`	刪除模型以釋放磁碟空間

真正的第一次使用：

ollama pull qwen3.5:9b
ollama run qwen3.5:9b

在聊天中輸入 /bye 離開。第一次務必看一下 ollama ps： 如果處理器一欄顯示類似 40%/60% CPU/GPU，代表模型沒能完整放進你的 GPU。換個更小的模型，或減小上下文。

用 Modelfile 自訂模型

Modelfile 是一個文字檔，用來定義模型的行為：系統提示詞、溫度、上下文大小。有了它，你就能擁有一個專門做某件事的助理，不必每次聊天都重複指示。

FROM qwen3.5:9b

# 溫度：0 = 回答更確定，1 = 更有創意
PARAMETER temperature 0.2

# 上下文視窗（token 數）
PARAMETER num_ctx 8192

SYSTEM """
你是一位重視資安的資深軟體架構師。
回答直接、技術上精確，不說廢話，使用 Markdown。
"""

儲存為 Modelfile 並打包：

ollama create my-architect -f ./Modelfile
ollama run my-architect

關於上下文： Ollama 預設會依顯示記憶體設定上下文視窗，低於 24 GB 時從 4,096 個 token 起步。用來摘要長文件或執行程式設計代理就不夠了。可以在 Modelfile 裡用 num_ctx、對整個伺服器用 OLLAMA_CONTEXT_LENGTH 環境變數，或在應用程式設定裡調大。上下文越大越佔記憶體，調整後記得再看一次 ollama ps。

如何使用 Ollama 本機 API（11434 埠）

Ollama 在 http://localhost:11434 提供 HTTP 服務，有兩種形式：

原生 API： /api/generate 和 /api/chat。
相容 OpenAI 的 API： /v1，任何已經串接 OpenAI 的 SDK 或工具都能直接用 Ollama。

測試呼叫：

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3.5:9b",
  "prompt": "用三點總結為什麼在本機執行 AI 能降低成本",
  "stream": false
}'

用相容 OpenAI 的 API 時，程式碼裡只需改基礎 URL：

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
response = client.chat.completions.create(
    model="qwen3.5:9b",
    messages=[{"role": "user", "content": "幫這封郵件分類：..."}],
)
print(response.choices[0].message.content)

SDK 要求填寫 api_key，但 Ollama 會忽略它。

接入編輯器和程式設計代理

OpenCode 等工具支援自訂服務商：把基礎 URL 指向 http://localhost:11434/v1 並選好模型，就能在程式碼不離開本機的情況下獲得自動完成和程式設計協助。我在如何安裝和設定 OpenCode裡一步步說明了設定方法。用於代理時，請選擇針對程式碼的模型，並把上下文調到 32K 以上。

接入 Open WebUI、Docker 或區域網路中的其他電腦

預設情況下，Ollama 只監聽 127.0.0.1。如果你要從 Docker 容器或區域網路裡的其他電腦連接 Open WebUI 這類介面，需要在服務上設定以下環境變數：

OLLAMA_HOST=0.0.0.0，讓它接受來自 localhost 以外的連線。
OLLAMA_ORIGINS，如果有網頁應用程式從瀏覽器直接呼叫 API，在這裡填寫允許的來源。

注意資安： Ollama 的 API 沒有身分驗證。設為 0.0.0.0 後，同一網路中的任何人都能使用你的模型。只在可信任的網路中或有身分驗證的代理伺服器後面這樣做，絕對不要把 11434 埠開放到網際網路。除測試外，避免使用 OLLAMA_ORIGINS="*"。

Ollama vs LM Studio vs Jan：選哪個

三者都能在本機執行模型，差別在於它們為什麼而設計。

面向	Ollama	LM Studio	Jan
定位	把 AI 接入其他工具的服務和 API	探索、測試和比較模型的圖形介面應用程式	開源聊天應用程式，ChatGPT 的本機替代
介面	終端機和 API；Mac 和 Windows 有簡單的聊天應用程式	功能完整的圖形介面，有視覺化設定	圖形化聊天介面
本機 API	在 11434 埠始終開啟	需要在應用程式裡手動啟動伺服器	相容 OpenAI 的伺服器，可在設定中開啟
模型來源	Ollama 模型庫，可匯入 GGUF	直接從 Hugging Face 下載 GGUF	下載模型，也可連接其他後端
適合	自動化、無介面伺服器、編輯器和代理	比較模型和量化版本、測試提示詞	想要私密聊天的非技術使用者

我的建議：要把 AI 接進某樣東西（編輯器、腳本、工作流程），用 Ollama；想先探索模型再決定，用 LM Studio；需要給不會開終端機的人一個私密聊天，用 Jan。它們並不互斥。

算一算能省多少

把一部分工作交給本機模型，只有在數字算得過來時才有意義。Crea Cosas 的兩個免費工具可以幫你看清楚：

利潤率計算器： 從專案成本裡扣掉你現在為訂閱和 token 支付的費用，看看利潤率能提升多少。
商業模式畫布： 把這個變化帶到成本結構區塊。原本隨每位客戶成長的支出，變成一項可以攤提的固定成本。

把硬體和設定時間也算進去。如果每月省下的錢在合理時間內回收不了設備成本，就繼續用雲端，等用量成長後再重新評估。

總結

在本機執行 AI 已經不只是實驗室裡的事。有了 Ollama、一台 16 GB 的電腦和一個選對的模型，你就有了一個沒有月費的私人助理，以及一個能接入你現有工具的 API。它不能在所有事情上取代前沿模型，但可以替你承擔大部分日常大量工作，以及那些不該離開公司的資料。從小模型開始，看看它是否真的有用，再逐步擴展。