LangSmith

LLM 應用上線後最怕「不知道它在幹嘛」:LangSmith 把每一次呼叫的過程錄下來,能追蹤、能評測、能監控。

它是什麼

• 開發商:LangChain 團隊(商業平台)
• 核心能力:Agent/LLM 應用的 tracing(逐步追蹤輸入輸出)、評測、觀測與治理;非 LangChain 開發的應用也能接入
• 同類定位:開源陣營的 Langfuse 定位相近;LangSmith 與 LangChain/LangGraph 生態整合最深

典型情境

• 使用者回報答錯,調出該次完整 trace,定位是檢索還是生成出錯
• 改完提示詞跑評測資料集,量化品質是進步還是退步
• 監控線上應用的延遲、token 成本與錯誤率

選型重點

• 已用 LangChain/LangGraph 開發 → LangSmith 最省力;要開源自架、追蹤資料留在內部 → Langfuse
• 屬商業託管服務,追蹤資料會上平台,金融醫療等敏感場景先確認合規
• 評測要先準備測試資料集與評分標準,工具不會無中生有

💡 一句話記憶:LangSmith = LLM 應用的行車記錄器兼考官:錄過程、打分數、盯品質。

iPAS 考點

屬「LLM 觀測與評測平台(LLMOps,Pro-code)」。判斷關鍵字:Tracing、評測、觀測。科目二考開發流程分工:LangChain 負責「開發」、LangSmith 負責「除錯、評測與監控」— 題目問「如何追蹤與評估 LLM 應用品質」→ 觀測平台方向,別選成開發框架。