11月 01 2026 0 LLMエージェントに他者信念の学習層を加えるEpiAgent 投稿者: 亜美と智也のAI論文解説 編集部 EpiAgentは、LLMエージェントに「他者の私的情報への信念」を明示的に持たせ、履歴からの信念更新（Epistemic Update）と信念に基づく行動計画（Action Planning）を自己対戦で交互に学習する。
11月 01 2026 0 OOD指令を安全境界へ投影する脚付きマニピュレータの全身制御 投稿者: 亜美と智也のAI論文解説 編集部 CMPは、脚付き移動マニピュレータの全身制御で、OODや実行不能な指令を学習済みの安全領域（コンピテンス多様体）へ投影し、破綻を避けつつ可能な範囲で追従させる。推論時は潜在空間のノルムを切り詰めるO(1)操作で、緊急停止せず「ベストエフォート」に安全側へ寄せる。
11月 01 2026 0 ShallowDefend：応答前の明示判断をRLで訓練する多ターン安全防御 投稿者: 亜美と智也のAI論文解説 編集部 ShallowDefendは、多ターン会話の各応答前に「意図評価→COMPLY/REFUSE（外部報酬版ではSAFE-REDIRECTも）の明示判断→応答」を置き、最終ターンの判断を強化学習で訓練する防御です。判断が文字列として読めるため、外部判定器なしの自己検証報酬も使えます。
11月 01 2026 0 精神科問診LLMをシミュレーションRLで訓練し二重盲検比較で評価 投稿者: 亜美と智也のAI論文解説 編集部 精神科の構造化問診を題材に、LLMをシミュレーション環境のマルチターン強化学習で訓練した論文。同一プロンプトのベースモデルと比べ、精神科医による二重盲検クロスオーバー評価で76.7%のペアで上回り、臨床評価・患者中心コミュニケーション・鑑別診断が改善した。
10月 31 2026 0 基盤モデルの事前学習からRLまでを単一の尤度学習に統合する訓練法 投稿者: 亜美と智也のAI論文解説 編集部 基盤モデルの事前学習・中間学習・SFT・RLを、データの混合比率を変える単一の最尤学習として扱う枠組み。RLも成功例への尤度フィッティングと見なし、同一の重み付き損失と共有バッファで静的データと生成データを混ぜる。
10月 30 2026 0 Soft FB：多様な目的をゼロショットで解く確率的方策の学習手法 投稿者: 亜美と智也のAI論文解説 編集部 Soft FBは、Forward-Backward（FB）法を最大エントロピー化し、オフラインの未ラベルデータから確率的な方策族を学習するゼロショット強化学習手法です。
10月 30 2026 0 GRPOのロールアウト配分を難易度適応型BAMDPで最適化する手法 投稿者: 亜美と智也のAI論文解説 編集部 GRPOは全質問に同じ回数のロールアウトを割り当てるため、難しい質問では正解が出ず学習信号が消え、易しすぎる質問では回数が余ることがあります。
10月 29 2026 0 PerceptRL：画像認識の誤りを検証可能なQA報酬に変えるMLLM学習 投稿者: 亜美と智也のAI論文解説 編集部 PerceptRLは、MLLMの画像キャプション由来の知覚誤りを検証済みQAに変換し、ルールベース報酬で単一ターンの知覚RLを行う。さらにコード実行によるマルチターン検査に対し、座標ずれを抑えるCoordinate Injectionと接地対応プロセス報酬を導入する。
10月 29 2026 0 ThinkWorld：人間とロボットの動画で世界想像を行動推論に使うVLA 投稿者: 亜美と智也のAI論文解説 編集部 ThinkWorldは、人間動画とロボット動画から共通の離散モーション列（Chain-of-Dynamics）を学び、その列が想像する未来と観測未来の一致を報酬に強化学習するVLA枠組みです。
10月 26 2026 0 LLM強化学習のBF16不安定化を抑える選択的丸め位置合わせ 投稿者: 亜美と智也のAI論文解説 編集部 推論と学習で別実装を使うBF16のLLM強化学習では、同じ重みでも中間値の丸め位置が違うと学習が不安定化する。学習側のRoPE・SwiGLU・残差RMSNormだけを推論側の丸め位置に合わせると、検討したQwen系4モデルで既定BF16の崩壊を防ぎ、RoPEのみでも安定した。