TL;DR

EpiAgentは、LLMエージェントに「他者の私的情報への信念」を明示的に持たせ、履歴からの信念更新（Epistemic Update）と信念に基づく行動計画（Action Planning）を自己対戦で交互に学習する。正解ラベルなしで信念を訓練する内在予測報酬を導入し、BargainingとKuhn Pokerでプロンプティング/RLベースラインを上回ったと報告。評価は限られた不完備情報ゲームで、高次信念や実世界一般化は未検証。

既存手法との違い

原論文では、BargainingとKuhn Pokerにおいて、プロンプティングベースの手法と、明示的な信念層を持たないRLベースラインと比較している。EpiAgentは、他者の私的情報への信念を明示的に更新する層と、その信念を条件に行動を選ぶ層を自己対戦で共進化させる点が異なる。提示本文には具体的な数値はないため、勝率や改善幅は確認できない。

使える条件

有限ホライズン・ターン制で、各エージェントの私的情報がエピソード中固定される不完備情報のマルチエージェント相互作用が対象。他エージェントの私的情報を観測履歴から推論できること、自己対戦で軌跡を生成しLLMをRLで交互最適化する計算資源が前提。評価環境はBargainingとKuhn Poker。本論文はRAGの論文ではなく、詳細な計算資源・データ要件は提示本文からは確認できない。

限界と未検証の範囲

信念は他者の私的情報に対する一次信念に限定され、高次信念は将来課題とされている。評価はBargainingとKuhn Pokerに限られ、実世界のオープンエンドな協調・多数エージェント・動的に変わる私的情報への一般化は未検証。比較対象も限定的で、具体的な数値結果は提示本文から確認できない。

解説

ねえ智也、この「EpiAgent」って論文、LLMエージェントに“他者信念の学習層”を足す話？ざっくり何が問題なの？

うん。普通のLLMエージェントは観測から直接行動したり、プロンプトで推論したりするけど、他者が持ってる私的情報を明示的な信念として持って更新する仕組みが薄いんだ。不完備情報のマルチエージェントだと、そこが効く。

私的情報って、相手の手札とか交渉の妥協点みたいな？

そう。私的情報はエピソード中固定で、相手には見えない。EpiAgentは自分の私的情報、履歴、他者の私的情報に対する信念をまとめてepistemic stateにして行動を選ぶ。

で、信念更新と行動計画を分けるんだ？

そう。Epistemic Updateで履歴から信念を更新して、Action Planningでその信念込みの状態から行動を選ぶ。依存関係が二段階だから、二レベル最適化として、自己対戦で交互に学習するEpistemic Self-Playにしてる。

正解ラベルなしで信念を学ぶってところが気になる。

そこで内在予測報酬。推論した信念がその後の観測をどれだけ予測できるかで信念更新を訓練する。他者の私的情報の正解ラベルがなくても学べる設計。

評価は？

BargainingとKuhn Poker。Bargainingは交渉で自己利益と決裂リスクのトレードオフ、Kuhn Pokerは確率性とブラフがある競争ゲーム。プロンプティングベースと、明示的信念層なしのRLベースラインを上回ったと報告してる。ただ提示本文には具体的な数値はないから、改善幅は確認できない。

へえ。信念の精度も上がったの？

論文では信念推論の精度改善と、信念への介入で行動計画に寄与することも分析してる。だから行動計画だけじゃなく、信念学習そのものが効いてる可能性を示してる。これは論文の報告ね。

使える条件は？

有限ホライズンでターン制、各エージェントの私的情報が固定の不完備情報ゲームが前提。自己対戦で軌跡を集めてLLMをRLで交互最適化する計算資源も要る。詳細な資源要件は提示本文からは確認できない。

限界は？

信念は他者の私的情報に対する一次信念に限定されてて、高次信念は将来課題。評価もBargainingとKuhn Pokerだけだから、実世界のオープンエンドな協調や多数エージェント、動的に変わる私的情報への一般化は未検証。比較対象も限定的。

なるほどね。つまり“相手の心の手札を予測する層”をちゃんと訓練しようって話か。私の心の手札は全部オープンだけどね。

それは手札じゃなくて、ただの大声だろ。

The post LLMエージェントに他者信念の学習層を加えるEpiAgent first appeared on 亜美と智也のAI論文解説.

TL;DR

SPADEは、1つのLLMが「環境デザイナー」と「推論エージェント」の2役を自己対戦で担い、実行可能なコードとして環境を生成しながら学習するフレームワークです。ヒント有無の報酬差（regret）で環境を最適化し、固定環境より平均+5.3ポイント、ツール使用で最大+13.9ポイントの性能向上を達成。環境生成自体を学習可能にし、継続的自己改善を実現します。

解説

ねえ智也くん、このSPADEって論文、タイトルからしてすごいんだけど、何がすごいの？

ああ、SPADEはね、LLMを訓練する新しい方法なんだ。普通は固定された問題集で学習するけど、SPADEではモデル自身が問題を作りながら学習するんだよ。

問題を作る？それってどういうこと？

簡単に言うと、一つのLLMが「環境デザイナー」と「推論エージェント」の二役を交代でやるんだ。環境デザイナーがコードで問題環境を作って、推論エージェントがそれを解く。そして、その結果を使って環境を改善していくんだよ。

自己対戦ってそういうことか！でも、どうやって環境を改善するの？

ここがポイントで、ヒントがあるときとないときの報酬の差、つまりregretを使って環境を最適化するんだ。ヒントがあると解けるけど、ないと解けない問題は、ちょうどいい難易度ってわけ。

なるほど、ヒントの有無で差が出る問題を作るようにするんだね。それで、実際に効果はあったの？

うん、固定環境より平均で+5.3ポイント、ツールを使う場合は最大で+13.9ポイントも性能が上がったんだ。

すごい！でも、環境生成自体を学習可能にするってどういうこと？

つまり、環境デザイナーも学習して進化するんだ。最初は簡単な問題しか作れないけど、学習が進むにつれて複雑な問題を作れるようになる。だから、継続的に自己改善できるんだよ。

それって、モデルがどんどん賢くなるってこと？すごいね！でも、何か問題点はないの？

そうだね、まだ実験が特定のベンチマークに限られていて、汎用性が十分に確認されていないことかな。あと、環境生成のコストが高い可能性もある。

なるほどね。でも、自分で問題を作って解くって、まるで自分で宿題を作って解いてるみたいで、ちょっとずる賢い感じがするね（笑）

はは、確かに。でも、その「ずる賢さ」が学習には大事なんだよ。

The post SPADE：自己対戦で環境生成と推論を共進化させるLLM訓練法 first appeared on 亜美と智也のAI論文解説.

ねえ智也くん、この論文のタイトル「自己対戦好み最適化による言語モデルの整合」って何？すごく興味深いけど、よくわからないな。

ああ、これは言語モデルを人間の好みに合わせる新しい方法についての研究だよ。伝統的な方法では人の好みの複雑さを完全には捉えきれないんだ。

へえ、それで、どうやってそれを改善するの？

この研究では、自己対戦という方法を使って、言語モデルがより正確に人間の好みを反映できるようにしているんだ。具体的には、二人プレイヤーゲームを模してナッシュ均衡を求めることで、最適な応答を選ぶようにモデルを訓練するんだよ。

ナッシュ均衡って何？

ナッシュ均衡とは、ゲーム理論の概念で、どのプレイヤーも自分の戦略を変えることで得をすることができない状態のことを言うんだ。

なるほど、じゃあ実験の結果はどうだったの？

実験では、非常に良い結果が出ていて、特にGPT-4-Turboに対して高い勝率を達成しているんだ。これは、この方法が非常に有効であることを示しているね。

すごいね！でも、これにはどんな課題があるの？

まだ完璧ではなくて、特定のシナリオやデータセットでの性能がこれからさらに改善される必要があるんだ。将来的にはもっと多くのシナリオでの応用が期待されているよ。

ふーん、でもちょっと難しそう…。智也くんがいないと理解できないかも！

大丈夫、いつでも質問してね。一緒に学べばもっと面白くなるよ。

要点

伝統的な強化学習からの人間のフィードバック（RLHF）アプローチは、人間の好みの非推移性や非合理性を捉えることができません。

好みの確率を直接扱うことで、人間の好みをより正確に反映し、言語モデルの整合性をより柔軟かつ正確に実現できることが示されています。

本論文では、言語モデルの整合性のための自己対戦ベースの方法を提案し、これを定数和の二人プレイヤーゲームとして扱い、ナッシュ均衡政策を特定することを目指します。

提案された自己対戦好み最適化（SPPO）は、反復的なポリシー更新を通じてナッシュ均衡を近似し、理論的な収束保証を享受します。

実験では、UltraFeedbackデータセットからの60kのプロンプトのみを使用し、追加のプロンプト拡張なしで、事前訓練された好みモデルPairRMを活用して、最先端の長さ制御勝率を達成しました。

参考論文: http://arxiv.org/abs/2405.00675v1

The post 言語モデルを人間の好みに合わせる新技術 first appeared on 亜美と智也のAI論文解説.