評估指標

Actor-Critic 是「演員演、影評打分」的雙人組,評估它既要看演得好不好(獎勵),也要看這套組合是否真讓訓練更快更穩。

核心觀念

累積獎勵與平均獎勵衡量總體表現。訓練效率衡量達到目標表現所需的時間或樣本數 — Actor-Critic 的存在意義,就是比純策略梯度更省樣本、更穩定。Advantage 估計(優勢函數)= 這個動作比平均水準好多少;Critic 用它給 Actor 回饋,估得準,梯度方差就小。

白話理解

演員(Actor)負責出招,影評(Critic)即時評分「這招比你平常好還是差」。比起純策略梯度等整場演完才結算,即時回饋讓修正更快 — 反映在指標上,就是訓練效率提升、學習曲線更平滑。

評估重點

• 累積獎勵與平均獎勵:最終表現
• 訓練效率:達標所需回合數或樣本數,常拿純策略梯度當對照組
• Advantage 估計品質:直接影響方差與收斂穩定性
• Actor 與 Critic 的損失要一起監控,一方發散全隊崩
• A2C、A3C 等主流方法都以此架構為底,評估口徑相同

🎯 口訣:演員出招、影評打分,Advantage 就是那句評語。

iPAS 考點

考架構角色配對:Actor 學策略、負責選動作;Critic 估價值、負責給回饋 — 選項把兩者職責互換是標準陷阱。判斷關鍵字「結合價值方法與策略方法」「用價值函數降低策略梯度的方差」→ Actor-Critic,它同時吃到兩派的好處。