一致性正則化

一張貓照片調亮一點、裁掉一角,還是貓 — 模型的答案也不該變。把「答案不准變」寫進損失函數,就是一致性正則化。

核心觀念

一致性正則化(Consistency Regularization)的核心假設:對同一輸入施加不同擾動(如資料增強、Dropout、加雜訊),模型應給出一致的預測。未標記資料不需要答案也能計算「兩次預測差多少」,把這個差異當損失來優化,能逼決策邊界避開資料密集區。

白話理解

醫療影像標註稀少。同一張 X 光片經輕微旋轉、亮度擾動後餵給模型,兩次預測不一致就懲罰它;幾十萬張未標註影像全都能這樣「免費」參與訓練,直接拉高預測一致性與泛化表現。

代表方法

• MixMatch:混合標記與未標記資料,結合增強與標籤猜測
• FixMatch:弱增強產生偽標籤,要求強增強版本預測一致,簡單而強
• UDA(Unsupervised Data Augmentation):用高品質資料增強拉一致性
• 增強多樣性是效果關鍵:擾動太弱學不到東西,太強會改變語意

🎯 口訣:換裝不換人 — 資料怎麼擾動,預測都要同一個答案。

iPAS 考點

判斷關鍵字:擾動後預測要一致、把未標記資料當正則化來源。代表方法記 MixMatch、FixMatch、UDA 三個名字。易混淆對:偽標籤直接「造答案」,一致性正則化管「答案穩不穩」— FixMatch 其實兩者並用,考題看敘述重點偏哪邊。