あながち間違いじゃないよ。AIエージェントが何度もやり取りを繰り返すと、自分の過去の回答を無意識に真似しちゃう現象のことなんだ。これを「会話の慣性」と呼んでいるよ。

自分の過去のパターンに縛られると、新しい状況に合わせて柔軟に考える「探索」ができなくなるんだ。結果として、同じ間違いを繰り返したり、タスクに失敗したりしやすくなる。これが大きな課題なんだよ。

そうだね。この論文では「アテンション」っていう、AIが情報のどこに注目するかを計算する仕組みを分析して、AIが過去の自分の言葉に「対角線状」に強く注目しすぎていることを突き止めたんだ。

そこで「Context Preference Learning（CPL）」という手法を提案している。これは、短い履歴で考えた時の「慣性が少ない良い回答」と、長い履歴で考えた「慣性に縛られたダメな回答」をペアにして、AIにどっちが好ましいかを教え込むんだ。

その通り。さらに「Clip Context」っていう管理術も使っているよ。履歴が長くなったら、定期的に古い記憶をバッサリ消してリセットするんだ。これでAIの頭がスッキリして、また新しい作戦を考えられるようになる。

もっと複雑で長い時間がかかるタスク、例えばネットで深い調査をしたり、ロボットを動かしたりする時に、AIが途中でボケずに最後までやり遂げられるようになるはずだよ。

それはAIの性能の問題じゃなくて、亜美さんのやる気の問題でしょ。宿題くらい自分でやりなよ。

ああ、それはLLMを使って科学的な問題やプログラミングの最適化を「進化計算」の手法で解くための新しいフレームワークだね。かなり画期的な内容だよ。

例えは悪くないけど、正確には「たくさんの解の候補を作って、成績が良いものを残して改良を繰り返す」っていう手法のことだよ。でも、今のLLMを使った進化計算には大きな弱点が3つあるんだ。

一つは『文脈汚染』。失敗した実験の履歴が溜まりすぎて、AIが混乱して変なアイデアばかり出すようになること。二つ目は『モード崩壊』。同じようなアイデアに固執して、行き詰まっちゃうこと。最後は『弱い連携』。並列で作業してる他のAIとうまく協力できないことだね。

……まあ、人間味のある解釈だけど、だいたい合ってるよ。PACEvolveは、それを解決するために3つの新しい武器を持ってるんだ。まずは『階層的コンテキスト管理（HCM）』。これはアイデアを「抽象的な作戦」と「具体的な解決策」に分けて整理して、不要なゴミ情報を捨てる仕組みだよ。

そこで二つ目の『モメンタムベースのバックトラッキング（MBB）』だ。AIが「最近あんまり改善してないな」っていう進捗の勢い、つまりモメンタムを自分で計算するんだ。勢いがなくなったら、思い切って過去の調子が良かった時点まで戻ってやり直すんだよ。

そう。そして三つ目が『自己適応型共同進化（CE）』。自分の過去に戻るか、それとも他の並列で頑張ってるチームから良いアイデアを盗んでくる（交叉）かを、状況に合わせて自動で選ぶんだ。これで協力プレイもバッチリだね。

数式を見つけるタスクや、GPUの計算を速くするコードの最適化で、これまでの記録を塗り替えて世界一の成績を出したんだ。特にNanoGPTっていう有名なモデルの改良では、これまでの最高記録をさらに更新したんだよ。

将来性は高いね。科学的な発見やエンジニアリングの自動化がもっと進むはずだ。ただ、まだ課題もある。計算コストがかかるし、どのタイミングで過去に戻るのがベストかっていう設定も、もっと洗練させる必要があるんだ。

それはただの現実逃避だろ。食べた事実は消えないから、大人しく運動してこい。