そう。LLMにテストを生成させて、それを正解プログラムで評価して、フィードバックで改善させるっていう自己進化の流れがあるんだけど、その評価方法に問題があるんだ。

単一の正解プログラムだけだと、不正な入力でも「正しく検出できた」って判定されちゃうことがある。つまり、テストが本当に正しいかどうかじゃなくて、そのプログラムに合ってるかどうかで評価されちゃうんだ。

そう。でも実際には他の正解プログラムだとエラーにならないかもしれない。だから進化の効果が過大評価されるんだ。

うん。複数の正解プログラムでテストを評価して、その結果を比較することで、本当に進化しているのかをチェックするんだ。

そう。フィードバックを繰り返しても、実は改善してないかもしれない。プラセボ効果みたいに、評価方法が甘いから進化してるように見えるだけってこと。

そう。複数の正解プログラムで監査するプロトコルを提案して、それを使えば進化の効果を正確に評価できる。これで、LLMのテスト生成の研究がもっと信頼できるようになる。

確かにコストはかかる。でも、正確な評価のためには必要なトレードオフだと思う。それに、この研究では限界も述べてて、例えば正解プログラムの選び方によって結果が変わる可能性があるって言ってる。

まあ、そういうこと。でも、監査があればズルはできないよ。

ああ、これはLLMエージェントのセキュリティ防御を自動で改善するフレームワークだよ。今までは人間が手で防御を設計してたんだけど、それを自動化したんだ。

手でやると、攻撃のパターンが変わったときに追いつけないんだ。それに、防御を設計するのは専門知識が必要で、時間もかかる。HARDは実行時の失敗を自動で分析して、防御を自律的に改善してくれるんだよ。

HARDは、エージェントがタスクを実行しているときに失敗したケースを収集して、その失敗の原因を分析するんだ。それに基づいて、防御ルールを自動生成して追加していく。

うーん、まだ実験環境が限られてるし、実際の複雑なアプリケーションでどこまで通用するかは未知数だね。あと、防御ルールが増えすぎると、逆にエージェントの動きが遅くなる可能性もある。

そうだね。特に、AIエージェントが自律的に動くようになると、人間が全部の防御を管理するのは難しくなるから、こういう自動化は重要になってくると思う。

それはまた別の研究課題だね。でも、HARDはあくまで防御の自動化だから、暴走を防ぐというよりは、攻撃から守るためのものだよ。

それはさすがにSFの話だよ。今のところ、HARDはあくまで防御のためのツールだから、そこまで心配しなくていいと思う。

興味があるなら、まずはこの論文を読んでみるといいよ。ただ、専門用語が多いから、わからなかったら聞いてね。

いいね。でも、コーヒーを飲んでる間に、また新しい攻撃が生まれてるかもしれないけどね。

読み方はそうかもしれないけど、中身はかなり硬派だよ。これはAIが科学的な難しい問題を解くときに、自分で自分の間違いに気づいて成長していくための仕組みについての研究なんだ。

鋭いね。普通はそうなんだけど、科学の世界は複雑すぎて、人間がすべての正解を用意するのは無理があるんだ。数学なら答えは一つだけど、科学の記述問題だと「どうしてそうなるか」のプロセスが大事だから、正解判定がすごく難しいんだよ。

そこで『Sci-CoE』の出番だ。この手法では、1つのAIの中に「問題を解く人（Solver）」と「それをチェックする人（Verifier）」の二役を演じさせるんだ。これを『共進化』って呼んでいるよ。

はは、まさにそこが課題なんだ。だからこの研究では2段階のステップを踏む。まず第1段階の『アンカー学習』では、ほんの少しだけ人間が用意した正しいデータを使って、「何が正しい判断か」の基準（アンカー）をAIに叩き込むんだ。

第2段階は『教師なし共進化』だ。ここでは正解データがない大量の問題を解かせる。解く役のAIがいくつか答えを出して、チェック役のAIが「この解き方は論理的か？」「物理法則に反してないか？」って色んな角度から検証するんだ。

そこで「幾何学的報酬メカニズム」という面白い仕組みを使うんだ。チェックの仕方をベクトル、つまり空間上の点として表して、チェック内容が「信頼できるか」と「バリエーションが豊かか」を数学的に計算するんだよ。

図形そのものというより、考え方の「距離」を見る感じかな。似たようなチェックばかりだと「多様性がない」と判断されるし、あまりに突拍子もないチェックだと「信頼性がない」と判断される。このバランスを取ることで、チェック役も賢くなっていくんだ。

実験では、化学や生物、物理といった科学のベンチマークテストで、他の手法よりもずっと高いスコアを出したんだ。特に、正解データがほとんどない状態からでも、自力でどんどん推論能力を伸ばしていけるのがこの手法の強みだね。

その可能性はあるね。未知の科学的発見には、既存の知識を組み合わせて新しい仮説を立てて、それを自分で検証する力が必要だから。この研究はその第一歩になるかもしれない。

もちろんあるよ。今はまだテキストベースの推論がメインだから、実際の実験データや複雑な数式を完璧に扱うにはもっと改良が必要だ。それに、AI同士で納得し合っちゃう「共謀」を防ぐ仕組みも、もっと強化しないといけないしね。

……それ、結局「食べる私」が「止める私」を言いくるめて、お菓子が増える未来しか見えないんだけど。

そうだよ、亜美さん。正確には、AIが「どう考えるべきか」というルールを自分で作って、それを使って自分の思考プロセスを鍛えるっていう研究だね。最近のAIは答えを出すまでの「思考の鎖」、つまりCoTが大事なんだけど、そこを評価するのが難しいんだ。

それがそうでもないんだ。答えがたまたま合っていても、考え方がメチャクチャだと、少し問題が変わっただけで解けなくなる。これを「ショートカット学習」って言うんだけど、今のAIは答えの正誤だけで学習するから、思考プロセスが疎かになりがちなんだよ。

それが理想だけど、何万もの思考プロセスを人間がチェックするのはコストがかかりすぎるし、AIが成長すると人間が教える基準が古くなっちゃうこともある。だから、この論文では「RLCER」っていう、AIが自分で基準を作って進化させる仕組みを提案してるんだ。

1つのモデルに2つの役割を持たせるんだ。問題を解く「推論役」と、良い考え方の基準を作る「ルーブリケーター役」。ルーブリケーターは例えば「計算の途中で余計な話をしない」みたいな具体的なルールを作る。で、そのルールを守った時に正解率が上がるなら、それは「良いルール」だと判定されるんだ。

そこが賢いところで、ルールを守った場合と守らなかった場合で、最終的な答えの正解率にどれだけ差が出るか、つまり「相関」を見るんだ。相関が高いルールほど、思考をガイドする報酬として採用される。これを繰り返すと、ルール自体もどんどん洗練されていくんだよ。

人間がつきっきりで教えなくても、AIが勝手に「より良い考え方」を模索して賢くなる道が開けたのは大きいね。将来的には、数学だけじゃなくて、もっと複雑な推論が必要な分野にも応用できるはずだよ。

確かに、ルールが飽和したり、変な方向に進化するリスクはあるね。だから、どうやって常に「挑戦的で意味のあるルール」を作らせ続けるかが今後の課題かな。お昼寝ルールで数学が解けるなら、それはそれで大発見だけどね。

ああ、それはAIエージェントの「メモリ」、つまり記憶の管理方法を革新する研究だよ。簡単に言うと、AIが自分で「どうやって物事を覚えるか」という技術を学習して進化させる仕組みなんだ。

鋭いね。今までのAIは、人間が「こういう時は情報を追加して、こういう時は消して」ってあらかじめ決めたルールに従ってたんだ。でも、それだと会話が長くなったり複雑になったりすると、柔軟に対応できなくてパンクしちゃうんだよ。

MemSkillは、メモリ操作を「スキル」として扱うんだ。まず「スキルバンク」っていうスキルの貯蔵庫があって、そこから今の状況に最適なスキルを選んで使う。さらに、そのスキル自体をAIが自分で作り変えたり、新しく生み出したりするんだよ。

主に3つの役割があるんだ。まず「コントローラー」。これは今の会話の流れを見て、どのスキルを使うのがベストか選ぶ司令塔だね。次に「エグゼキューター」。選ばれたスキルを使って、実際にメモリを書き換える実行役だよ。

「デザイナー」だ。これが一番重要で、AIがうまく思い出せなかった難しいケースを分析して、「もっとこういうスキルが必要だ」って新しいスキルを設計したり、古いスキルを修正したりするんだ。これでシステム全体が自己進化していくわけだね。

実験結果では、LoCoMoやHotpotQAっていう複雑な推論が必要なテストで、従来の固定的な方法よりも高いスコアを出しているよ。特に、長い会話の履歴から必要な情報を引っ張り出す能力が大幅に上がっているんだ。

将来的には、ユーザー一人ひとりの好みに合わせてメモリの取り方を変える「超パーソナライズされた秘書AI」ができるかもしれない。ただ、まだ課題もあって、スキルの進化に時間がかかったり、複雑なスキルが増えすぎると管理が大変になったりする可能性もあるんだ。

魔法じゃないよ。これはLLMを使って、文章から「誰が・何を・どうした」っていう事実を正確に抜き出すための研究だね。専門用語でORTE（オープンドメイン関係三つ組抽出）って言うんだ。

違うよ。例えば「亜美さんはケーキを食べた」から（亜美、食べる、ケーキ）っていうセットを作る作業のこと。今まではAIに「これ抜き出して」って命令するだけだったんだけど、それだと難しい文章でミスしちゃうんだよね。

それが大事なんだ。戻した文章と元の文章を比べて、内容がズレてたら「あ、抽出に失敗したな」ってわかるでしょ？その失敗した理由を分析して、AIへの命令文、つまりプロンプトを自動で書き換えていくんだよ。

まさにそんな感じ。これを「テキスト勾配」を使った最適化って呼んでる。さらに、この研究では「関係正規化メモリ」っていうのも使っていてね。「〜に住んでいる」と「〜の居住者だ」みたいに、言い方が違うだけの関係を一つにまとめる工夫もしてるんだ。

そうだね。将来的には、人間が教えなくてもAIが勝手に学習して、巨大な知識ベースを自動で作れるようになる可能性がある。ただ、まだ計算に時間がかかるっていう課題もあるけどね。

そうだね。簡単に言うと、AIエージェントが自分で自分の「仕事の進め方」を書き換えて、どんどん賢くなっていく仕組みについての研究だよ。

そこがこの論文の面白いところなんだ。今までの「自己進化」するAIは、自分のルールを自由に書き換えすぎて、本来の目的を忘れたり、デタラメを言ったりする「暴走」が問題だったんだよ。この論文は、それを防ぐために「有限オートマトン（FSM）」っていう型を使ってるんだ。

食べられないよ。FSMっていうのは、簡単に言えば「今の状態」と「次に何をすべきか」を地図みたいにまとめた仕組みのことだね。この論文では、AIの進化を「Flow（フロー）」と「Skill（スキル）」の2つに分けて考えてるんだ。

「Flow」は全体の作戦会議みたいなもので、どの順番でツールを使うかっていう手順のこと。「Skill」は、検索したりPDFを読んだりする個別の技のことだね。この2つをバラバラに、でもルールに従って修正していくのが『EvoFSM』の特徴なんだ。

正解。しかも、書き換えるときは「原子操作（Atomic Operations）」っていう、あらかじめ決められた最小単位の操作しかできないようになってる。例えば「新しい手順を追加する」とか「指示を少し書き換える」といった感じだね。これを「Critic（批評家）」役のAIがチェックしながら進めるから、変な方向に進化しにくいんだ。

実験では、複数の難しい検索タスクで、あのGPT-4oを使った従来の手法よりも高い成績を出してるよ。特に「DeepSearch」っていう複雑な調査が必要なテストでは、58.0%っていう高い精度を叩き出したんだ。

そうだよ。ネット上の情報をあちこち探し回って、矛盾がないようにまとめるのはAIにとってもかなり難しいからね。この技術があれば、将来はもっと複雑な専門調査もAIが自動でやってくれるようになるはずだ。

もちろんあるよ。まだ進化のステップに時間がかかるし、もっと多様なタスクに対応させる必要がある。これからは、もっと効率よく、かつ安全に自己進化させる研究が進んでいくだろうね。

亜美さんの場合は、FSMを書き換える前に、まず目覚まし時計を増やすっていう「物理的なスキル」を強化したほうがいいと思うよ。