評估指標

強化學習沒有標準答案可以對,DQN 學得好不好,看三條線:獎勵有沒有變多、任務成不成、Q 值穩不穩。

核心觀念

累積獎勵(Cumulative Reward)是一回合內獎勵的總和,衡量總體表現;隨訓練畫成學習曲線,趨勢向上才是真的在進步。成功率(Success Rate)衡量任務完成比例,適合有明確達標條件的任務。Q 值收斂曲線盯的是內部健康:DQN 學的是 Q 值(某狀態下做某動作的預期報酬),Q 值穩定收斂代表學習穩定;狂震盪或發散,代表訓練出了問題。

白話理解

教新手打電動。累積獎勵是每局總分;成功率是破關比例;Q 值收斂像他對「這一步值多少分」的心裡估價 — 分數偶爾爆高但估價亂跳,代表靠運氣不是實力,隨時可能崩盤。

關鍵細節

• 累積獎勵:強化學習的通用主指標;回合間隨機性大,看趨勢不看單局
• 成功率:機械手臂抓取、導航到點這類「有沒有達標」的任務最適用
• Q 值收斂曲線:判斷穩定性,不直接代表表現高低
• DQN 有高估 Q 值的傾向;經驗回放與目標網路就是為了穩住訓練
• 驗收時通常固定策略、多跑幾回合取平均,排除運氣成分

🎯 口訣:獎勵看總分、成功率看達標、Q 值看心穩不穩。

iPAS 考點

分類題:題目出現「代理人、環境、獎勵」的強化學習情境,評估指標往累積獎勵選;陷阱是把監督式指標(準確率、F1)塞進 RL 情境。第二考點:Q 值收斂曲線是穩定性工具,「Q 值收斂等於表現最好」是錯誤敘述 — 收斂只說明學穩了,沒說學得多好。