2025-11-19T05:19:13.941336

Learning to Undo: Rollback-Augmented Reinforcement Learning with Reversibility Signals

Sorstkins, Tariq, Bilal

This paper proposes a reversible learning framework to improve the robustness and efficiency of value based Reinforcement Learning agents, addressing vulnerability to value overestimation and instability in partially irreversible environments. The framework has two complementary core mechanisms: an empirically derived transition reversibility measure called Phi of s and a, and a selective state rollback operation. We introduce an online per state action estimator called Phi that quantifies the likelihood of returning to a prior state within a fixed horizon K. This measure is used to adjust the penalty term during temporal difference updates dynamically, integrating reversibility awareness directly into the value function. The system also includes a selective rollback operator. When an action yields an expected return markedly lower than its instantaneous estimated value and violates a predefined threshold, the agent is penalized and returns to the preceding state rather than progressing. This interrupts sub optimal high risk trajectories and avoids catastrophic steps. By combining reversibility aware evaluation with targeted rollback, the method improves safety, performance, and stability. In the CliffWalking v0 domain, the framework reduced catastrophic falls by over 99.8 percent and yielded a 55 percent increase in mean episode return. In the Taxi v3 domain, it suppressed illegal actions by greater than or equal to 99.9 percent and achieved a 65.7 percent improvement in cumulative reward, while also sharply reducing reward variance in both environments. Ablation studies confirm that the rollback mechanism is the critical component underlying these safety and performance gains, marking a robust step toward safe and reliable sequential decision making.

academic

学習の取り消し：可逆性シグナルを用いたロールバック拡張強化学習

基本情報

論文ID: 2510.14503
タイトル: Learning to Undo: Rollback-Augmented Reinforcement Learning with Reversibility Signals
著者: Andrejs Sorstkins¹, Omer Tariq², Muhammad Bilal¹
分類: cs.LG
発表日時: 2025年10月17日 (arXiv preprint)
論文リンク: https://arxiv.org/abs/2510.14503

要約

本論文は、価値ベースの強化学習エージェントのロバスト性と効率性を向上させることを目的とした可逆学習フレームワークを提案する。このフレームワークは、価値の過大推定と部分的に不可逆な環境における不安定性の問題に対処する。2つの相補的なコア機構を含む：経験駆動の遷移可逆性メトリクスΦ(s,a)と選択的状態ロールバック操作である。CliffWalking-v0環境では、このフレームワークは壊滅的な転落を99.8%以上削減し、平均エピソード報酬を55%向上させた。Taxi-v3環境では、違法な動作を≥99.9%抑制し、累積報酬を65.7%向上させながら、両環境における報酬分散を大幅に低減した。

研究背景と動機

コア問題

価値の過大推定問題: 深層強化学習において普遍的に存在するQ関数の過大推定問題により、エージェントは統計的に虚偽または低確率の軌跡を好み、振動的なポリシー更新と収束時間の延長を引き起こす
不可逆環境における安全性: 安全関連アプリケーション（自動運転、ロボット手術、医療治療計画など）において、不可逆的なエラーは壊滅的な結果をもたらす可能性がある
既存手法の限界: 従来のQ値過大推定解決策（ダブルQ学習、保守的Q学習など）は、通常、計算コストとサンプル複雑性の増加を代償とする

研究動機

人間の認知アーキテクチャにおける可逆性は、慎重な意思決定と適応的学習の基礎である。人間は習慣的に、与えられた動作の即時報酬と、その動作が後続のステップによって取り消されまたは相殺される程度を評価する。本論文は、この次善の決定を「取り消す」能力を強化学習フレームワークに組み込み、広範な安全関連アプリケーションに対するソリューションを提供する。

コア貢献

スケーラブルなモデルフリー可逆性推定器: オンラインの状態-動作対ごとの可逆性推定器Φ(s,a)を提案し、分類器の訓練を回避する
明示的なロールバック操作: 明示的なロールバック操作をテーブルQ学習とSARSA更新に統合する
原理的な結合機構: Φシェーピングと選択的ロールバックを原理的に組み合わせ、探索を抑制することなく下行リスクを制限する
包括的な評価: 広範な評価、感度分析、アブレーション実験を通じて、安全性とパフォーマンスに重要なコンポーネントを特定する

方法の詳細

タスク定義

マルコフ決定過程(S,A,P,R,γ)において、エージェントは状態s∈Sで動作a∈Aを選択し、報酬rを受け取り、s'～P(·|s,a)に遷移する。目標は、部分的に不可逆な環境において安全性を確保しながら、最適な動作価値関数Q*(s,a)を学習することである。

モデルアーキテクチャ

1. 経験的可逆性推定器

FIFO構造を通じて可逆性推定を維持する：

観測された各遷移(st,at)→st+1に対して、記録(s0,a0,d)をFIFOリストLにプッシュする
d = t+Kは、s0に戻る必要がある期限である
指数移動平均(EMA)を使用して可逆性テーブルを更新する：

Φ[s0,a0] ← (1-αφ)Φ[s0,a0] + αφ·y

ここで、y∈{0,1}はK段階以内にs0に戻ったかどうかを示す。

2. TD学習と罰則機構

罰則報酬を形成する：

r' = r - λ(1 - Φ[st,at])

修正されたTD誤差は以下の通り：

Q学習: δ = r' + γmax_a' Q(st+1,a') - Q(st,at)
SARSA: δ = r' + γQ(st+1,at+1) - Q(st,at)

3. ロールバック操作

閾値条件がトリガーされたときにロールバックを実行する：

snext = {
  st,     閾値違反の場合
  st+1,   それ以外
}

閾値条件は以下のように定義される：目標値 ≤ T·Q(st,at)

技術的革新

軽量な可逆性推定: 分類器ベースの先例推定をFIFOベースの経験推定に置き換え、ポリシー固有の過学習を回避する
局所化された罰則: 状態-動作対ごとのΦを使用して局所化された罰則を生成し、グローバル閾値ではなく
明示的な取り消し機構: 高リスク遷移を検出した際に有害なステップを即座に取り消すための実行可能な回復プリミティブを提供する
適応的な時間ウィンドウ: パラメータKを通じて時間範囲を制御し、再訓練なしに短期または長期の可逆性を捕捉する

実験設定

データセット

Gymnasium v1.2.0の2つの古典的なテーブル「toy-text」環境を使用：

CliffWalking-v0: 4×12グリッド、決定論的環境
- 観測空間：48の到達可能な状態
- 動作空間：4つの離散移動
- 崖の罰則：-100、通常のステップ：-1
Taxi-v3: 5×5グリッド、タクシー乗降タスク
- 観測空間：500の状態
- 動作空間：6つの動作
- 違法な動作の罰則：-10、成功した配送：+20