Ollama

想在自己電腦跑開源 LLM,一行指令就搞定 — Ollama 把「下載模型、設定環境、啟動服務」壓縮成一個動作,是本機跑模型的入門首選。

它是什麼

• 開發商:Ollama(開源專案,社群活躍)
• 核心能力:指令列一鍵下載並執行開源模型,同時開出本機 API 供程式呼叫,開發與自架情境最常見
• 同類定位:LM Studio 給你圖形介面慢慢點,Ollama 給你指令與 API 快速接 — 它更偏開發者

典型情境

• 在筆電試跑多個開源模型,比較回答品質再決定要不要上雲
• 開發檢索增強生成(RAG)或聊天應用的原型,程式直接打本機 API,省下雲端 API 費用
• 機密文件摘要與問答,資料全程不離開自己的機器
• 無網路環境(工廠內網、封閉實驗室)照樣能用 LLM

選型重點

• 開發、測試、個人自架 → Ollama;完全不想碰指令列 → LM Studio 這類桌面應用
• 要撐多人高流量的正式服務 → 換 vLLM 這種生產級推理引擎,Ollama 的吞吐量不是為此設計
• 模型跑不跑得動取決於硬體(記憶體/顯卡),選模型尺寸前先看規格
• 工具開源免費,但各模型授權條款不同,商用前要確認

💡 一句話記憶:Ollama = 本機模型的一鍵啟動器,指令一行、模型就緒。

iPAS 考點

科目二考「本地部署類」工具:題幹出現資料不出內網、離線可用、本機跑開源模型等關鍵字,方向就是 Ollama。陷阱一:與雲端 API 服務混淆 — 本地部署是資料留在自家、硬體自己養;陷阱二:與 vLLM 互換 — 開發便利選 Ollama,生產吞吐選 vLLM。