階段 6 部署 MLOps

模型躺在 Notebook 裡不會產生價值:這一階段 AI 工程師要把模型與 LLM 應用包成服務 — 有 API、有監控、有版本,別人叫得動、你管得住。

這一階段學什麼

• FastAPI/Flask 服務化:把推論邏輯包成 REST API,定義清楚輸入輸出格式與錯誤處理。
• Docker 容器化:程式、模型與依賴打包成映像檔,本機、雲端、同事電腦跑起來一個樣。
• 雲端與 GPU:判斷推論放 CPU 還是 GPU、何時用雲端代管,成本與延遲怎麼取捨。
• Log 與監控:記錄每次請求、延遲與錯誤率;LLM 應用還要留存提示與輸出,才能追查品質問題。

為什麼是現在學

前五個階段的成果到這裡才變成「別人用得到的東西」。沒有部署能力,模型永遠只是實驗;而下一站作品集最有說服力的,正是一個活著的 Demo 連結。

怎麼練(具體行動)

1. 把階段 3 或 4 的模型包成 FastAPI 服務,用自動產生的文件頁測試每個端點。
2. 把階段 5 的 RAG 也服務化,加上簡單前端當 Demo。
3. 全部裝進 Docker,部署到一台雲端主機或平台服務,設好基本日誌。
4. 做一次簡單壓測:記錄平均延遲與失敗率,寫進專案 README。

完成標準

• 模型或 RAG 以 API 形式上線,附一個可互動的 Demo 頁面。
• 能從日誌回答「昨天有幾次請求、最慢的一次發生什麼事」。

⚠️ 常見誤區:API 沒做輸入驗證與資源限制 — 一個超長輸入就能把你的服務打掛。