raglab-publisher - 亜美と智也のAI論文解説

ユーザー役AIの指示逸脱を、自然さと両立する強化学習で改善するUserLM-2.0

raglab-publisher — Sun, 25 Oct 2026 00:55:58 +0000

TL;DR

本論文は、LLMでユーザー役を模擬する際に「複雑なタスク意図への忠実さ」と「自然会話らしさ」が両立しにくい問題に対し、両方を報酬化した強化学習を提案する。自然さは実ユーザー発話との軽量判別器を交互に再学習して評価し、UserLM-2.0を公開。WildChat由来の2,000意図テストで有効会話率46.2%（最強の既存14.1%）を報告する。一方、評価は特定のデータ・アシスタント・判別器条件に依存する点に注意が必要。

解説

智也くん、この「UserLM-2.0」って論文、ユーザー役AIの話？あんまりAI詳しくないけど気になる。

そう。LLMにユーザー役をやらせる研究。複雑なタスク意図に忠実に従わせるのと、自然会話っぽくするのが両立しにくいのが問題。

え、自然さと指示への忠実さって別物なの？

別物になりがち。自然に振る舞うほど意図から逸脱したり、忠実にすると不自然な発話になったりする。

なるほど。で、どう改善したの？

強化学習で、意図への忠実さと自然さの両方を報酬にする。自然さは実ユーザー発話との軽量な判別器で測って、その判別器も交互に再学習する。

判別器も一緒に鍛え直すってことか。なんかゲームの対戦相手を更新する感じ。

まあ近い。で、UserLM-2.0を公開してる。

評価はどうなったの？

WildChat由来の2,000意図テストで、有効会話率が46.2%。最強の既存手法が14.1%だから差は大きい。

46.2%対14.1%はかなり差があるね。ユーザー役AIがちゃんと会話を成立させられるって大事そう。

そう。ユーザー模擬が良くなれば、対話AIの訓練や評価にも使いやすくなる。

でも注意点もあるんでしょ？

ある。評価は特定のデータ、アシスタント、判別器の条件に依存する。だから数字だけを万能視しない方がいい。

じゃあ、自然さ担当の判別器が機嫌悪い日は数字も変わるかもね。

判別器に機嫌はない。でも条件が変われば結果も変わる、って言いたいんだと思う。

参考論文: http://arxiv.org/abs/2610.31512v1

The post ユーザー役AIの指示逸脱を、自然さと両立する強化学習で改善するUserLM-2.0 first appeared on 亜美と智也のAI論文解説.

スロバキア語WebコーパスをLLMエージェントで監査し実行可能テスト化

raglab-publisher — Sat, 24 Oct 2026 22:56:22 +0000

TL;DR

FineWeb2のスロバキア語26.5M文書を対象に、LLMを分類器ではなく読み取り専用APIで調査する「コーパスデバッガ」として使い、7件の知見を発見。各知見を安価な実行可能テストに変換し、母語話者の盲検検証で6/7件を支持、5.32%の機械生成コンテンツファームも確認した。一方、最良の静的サンプリングベースラインはより多くの選択子を半額以下で検証しており、エージェントの価値は正確な普及率・精度推定・再利用可能なテストにある。

解説

ねえ智也、この論文タイトル「スロバキア語WebコーパスをLLMエージェントで監査し実行可能テスト化」って、まず何が問題なの？スロバキア語のWebコーパスって大きいだけでしょ？

大きいほど品質の問題も埋もれる。今回はFineWeb2のスロバキア語26.5M文書が対象。何が混ざってるか、人手だけで見るのは無理。

26.5M…多すぎ。で、LLMに分類させるの？

そこが違う。LLMを分類器じゃなくて、読み取り専用APIでコーパスを調べる「コーパスデバッガ」として使う。仮説を立てて、検索して、根拠を集める感じ。

なるほど、分類ラベルを貼るんじゃなくて、探偵みたいに調査するんだ。で、何か見つかった？

7件の知見。たとえば機械生成っぽいコンテンツファームも確認されて、推定5.32%だった。見つけた知見は、それぞれ安価に実行できるテストに変換してる。

テストにするのいいね。一度見つけた問題を、次から自動でチェックできるもんね。

そう。で、そのテストを母語話者が盲検で検証して、6/7件は支持された。

6/7ならかなり強いじゃん。じゃあLLMエージェント最強？

そう単純でもない。静的なサンプリングだけのベースラインは、より多くの選択子を半額以下で検証してる。

え、安いのにたくさん見るの？じゃあエージェントいらなくない？

全部を置き換えるわけじゃない。エージェントの価値は、正確な普及率や精度の推定、それと再利用できるテストを作れること。ベースラインは広く安く見るのは強い。

なるほど、広く安く拾うのと、深く調べてテスト化するのは役割が違うのか。制限は？

対象はスロバキア語だし、知見も7件。検証も6/7で全部じゃない。コストや再現性の面でも、何に使うかは選ぶ必要がある。

ふむふむ。でも「見つけたら終わり」じゃなくて、テストとして残すのが大事なんだね。

そこが一番実用的。監査の結果を、次のコーパス更新で再利用できる。

じゃあ私も明日から冷蔵庫をコーパスデバッガーとして監査して、機械生成プリンを見つけるね。

冷蔵庫に読み取り専用APIはないし、そのプリンはたぶん人間が買ったやつだ。

参考論文: http://arxiv.org/abs/2610.31636v1

The post スロバキア語WebコーパスをLLMエージェントで監査し実行可能テスト化 first appeared on 亜美と智也のAI論文解説.

機構解釈でLLMの比喩方向を特定し、出力の比喩性を操作する研究

raglab-publisher — Sat, 24 Oct 2026 20:56:05 +0000

TL;DR

この論文は、LLM内部に「比喩らしさ」を表す方向や部分空間があるかを、活性化パッチングとDASで調べ、分類・解釈・生成の各タスクで推論時介入により出力をリテラル寄り/比喩寄りに動かせることを示します。強みは複数モデル・複数データで因果効果を検証し、生成の比喩性制御まで踏み込む点です。制約は短く統制された文・名詞/形容詞中心のデータで、生成評価にLLM判定を使う点なので、実運用では品質・副作用の評価が必要です。

解説

ねえ智也、この論文、タイトルからして難しそう。LLMの比喩方向を特定して、出力の比喩性を操作するって、どういうこと？

LLMの中に「比喩らしさ」に対応する方向や部分空間があるかを調べて、推論時にそこへ介入すると出力をリテラル寄りにも比喩寄りにも動かせるか、って研究だよ。

へえ。なんで比喩に注目するの？

内部で比喩らしさがどう表現されてるかを因果的に知りたいから。比喩は意味のずれを扱うので、モデルの内部表現を理解する手がかりになるし、生成の制御にもつながる。

見つける方法は？

活性化パッチングとDASを使って、比喩文とリテラル文の間で内部活性を入れ替えたり介入したりする。どの方向や部分空間が比喩性に効くかを因果効果で見る。

評価はどうやるの？

分類・解釈・生成の各タスクで、推論時介入によって出力がリテラル寄り/比喩寄りに動くかを評価する。複数モデル・複数データで因果効果を検証して、生成の比喩性制御まで踏み込んでるのが強み。

すごい。でも制約もあるんでしょ？

データは短く統制された文で、名詞や形容詞中心。生成評価にLLM判定を使ってるから、実運用では品質や副作用の評価が必要。

なるほど。比喩のスイッチをカチッて切り替える感じ？じゃあ今日の課題を『遠い星』に操作して、締切を遠くできる？

締切はリテラルに近い。そもそもスイッチほど単純じゃない。

参考論文: http://arxiv.org/abs/2610.31520v1

The post 機構解釈でLLMの比喩方向を特定し、出力の比喩性を操作する研究 first appeared on 亜美と智也のAI論文解説.

不自然で検出されやすい攻撃プロンプトを自然文へ：拡散言語モデルで変換

raglab-publisher — Sat, 24 Oct 2026 18:56:01 +0000

TL;DR

連続空間攻撃はガウス潜在をランダム写像で文字列化するため、攻撃プロンプトが不自然で困惑度フィルタに検出されやすい。本論文はその写像だけを事前学習済み連続拡散言語モデル（Cola-DLM）に置換し、RareTrapのサンプリングとThinkTrapの最適化をそのまま使う。文字レベル困惑度はRareTrapで103–107→3–5、ThinkTrapで20–28→4.3–5.4に低下。ブラックボックス性を保ち追加計算は小さいが、対象は2手法・特定dLLM中心で、写像によりリスク推定が桁単位に変わり得る点は要注意。

解説

ねえ智也、このブログの「不自然で検出されやすい攻撃プロンプトを自然文へ」ってタイトル、攻撃なのに自然文ってちょっと矛盾してて気になる。

これは連続空間攻撃のプロンプトを自然な文に寄せる話。まず、攻撃プロンプトがなんで不自然になりやすいかから。

なんで不自然になるの？

連続空間攻撃はガウス潜在をランダム写像で文字列化する。だから意味が変で、困惑度フィルタに引っかかりやすい。

なるほど、怪しい文字列だから検出されやすいってことか。

本論文はその写像だけを事前学習済み連続拡散言語モデルのCola-DLMに置き換える。RareTrapのサンプリングとThinkTrapの最適化はそのまま使う。

攻撃手法全体を変えるんじゃなくて、文字列にする部分だけ差し替えるんだ。

そう。で、文字レベル困惑度がRareTrapで103–107から3–5、ThinkTrapで20–28から4.3–5.4に下がった。

めっちゃ自然になったってこと？ 103が3って、もう別物じゃん。

少なくとも困惑度フィルタ的には目立たなくなる。ブラックボックス性は保たれて、追加計算も小さい。

いいこと尽くしに見えるけど、注意点は？

対象は2手法と特定のdLLM中心。あと写像のせいでリスク推定が桁単位で変わり得るから、そこは要注意。

リスク推定が桁で変わるのは怖いね。評価の前提がずれる可能性あるもんね。

じゃあ私のレポートもCola-DLMに通せば、自然で検出されにくい…って、中身も変わる？

中身は変換されない。まず自分で書け。

参考論文: http://arxiv.org/abs/2610.31558v1

The post 不自然で検出されやすい攻撃プロンプトを自然文へ：拡散言語モデルで変換 first appeared on 亜美と智也のAI論文解説.

グラフ入力が回答に効くか不安な開発者へ G-Retrieverのトークン崩壊を診断

raglab-publisher — Sat, 24 Oct 2026 18:03:56 +0000

TL;DR

G-Retrieverのグラフトークンは、複数のデータ・エンコーダ・LLM・調整条件で入力グラフによらずほぼ同一に崩壊しました。既定設定では平均・別例・破損グラフのトークンに置換しても正解率はほとんど変わらず、グラフを見ない定数トークンが同等以上でした。原因候補はSigmoid投影と回答損失のend-to-end学習で、2段階学習は崩壊を抑えるものの、グラフ利用や精度改善は保証しません。精度ではなく置換介入・尤度・probeで確認する評価手順が重要です。

解説

ねえ智也くん、このブログ、タイトルが「グラフ入力が回答に効くか不安な開発者へ G-Retrieverのトークン崩壊を診断」ってなってるんだけど、トークン崩壊って何？

G-Retrieverがグラフを大規模言語モデルに渡すときのグラフトークンが、入力グラフによらずほぼ同じになる現象。複数のデータ、エンコーダ、大規模言語モデル、調整条件で確認されてる。

え、どんなグラフでも同じトークン？それってグラフを見てないってことじゃん。

そう。既定設定では、平均に置き換えても、別の例のトークンに置き換えても、破損グラフのトークンに置き換えても、正解率はほとんど変わらなかった。グラフを見ない定数トークンが同等以上だった。

それは開発者にはきつい。グラフ入力の意味がなくなるもんね。

だから、精度が高い＝グラフを使ってる、とは限らない。原因候補はシグモイド投影と、回答損失でエンドツーエンドに学習する部分。2段階学習は崩壊を抑えるけど、グラフ利用や精度改善は保証しない。

なるほど。じゃあ、どう確認すればいいの？精度だけ見てたらダメってこと？

置換介入でトークンを変えて挙動を見る。尤度を見る。プローブで内部表現を調べる。精度じゃなくて、グラフに依存しているかを確かめる手順が大事。

グラフを渡したのに「だいたい同じです」って返ってくるのが怖い。私のレポートの参考文献欄みたい。

その例えは危険すぎる。でも、グラフトークンが飾りになってないかはちゃんと診断しよう。

じゃあ明日から、グラフ入力くんに「本当に仕事してる？」って面接するね。

面接じゃなくて置換介入な。

参考論文: http://arxiv.org/abs/2610.31572v1

The post グラフ入力が回答に効くか不安な開発者へ G-Retrieverのトークン崩壊を診断 first appeared on 亜美と智也のAI論文解説.