解説ねえ、トモヤくん！この論文…
解説
ねえねえ、智也くん！これ見て！『PACIFIC: a framework for generating benchmarks to check Precise Automatically Checked Instruction Following In Code』…なんか難しそうなタイトルだけど、AIがコードをちゃんと理解できるかチェックする話？
ああ、その論文か。PACIFICってのは、AIのコードアシスタントがどれだけ正確に指示に従えるか、それからコードを実行せずに頭の中で動作を追えるか（ドライランって言うんだ）を評価するための、ベンチマークを自動で作るフレームワークの話だよ。
ベンチマーク…ってテストみたいなもの？でも自動で作るの？それってすごくない？
そう。今までの評価方法には問題があったんだ。例えば、AIが出した答えが正しいかどうかを、別のAIに判断させたりすることがあって、それだと評価自体がブレちゃう。PACIFICは、あらかじめ正解をプログラムで計算しておいて、AIの出力と単純に比較するだけ。だから誰がやっても同じ結果になる、確実な評価ができるんだ。
ふーん、それは確かに公平そうだね。で、どんなテストを作るの？
基本的な「命令」のブロックを組み合わせるんだ。例えば、「前の数字より大きい最初の素数を出力しろ」とか、「前の出力の各文字から1を引け（aならzになる）」とか。そういう命令をいくつも繋げて、「最初の入力が4で、命令A、命令B、命令Cを順番に実行した結果は？」って問題を作る。
え、それって…私でも頭の中で追えそうな気がする？コンピュータサイエンスの1年生レベル、って書いてある！
そう。個々の命令は単純なんだ。でも、これを何個も繋げたり、出力がすごく長くなるように調整したりすると、AIでも間違えるようになる。これがPACIFICのすごいところで、難易度をコントロールできるんだ。「命令の数」と「出力の長さ」をパラメータで変えれば、簡単なテストから超難しいテストまで自動生成できる。
へえ！で、実際にAIで試してみたの？どんな結果だった？
うん。複数の最先端モデルで試したら、命令の数が増えたり、出力が長くなると、どのモデルも正解率が下がった。でも、下がり方に差があって、モデルによって「指示に正確に従う力」と「ドライランする力」に違いがあることが分かったんだ。今までのベンチマークでは測れなかった、モデルの本当の実力の違いが見えてきたってことだね。
なるほどー。じゃあ、これがあれば、これから出てくるもっと賢いAIの実力も、ちゃんと測れるようになるってこと？
そういう期待はある。あと、大きな利点がもう一つある。AIの学習データ汚染への対策だ。
汚染？なんか怖い言葉…
評価用のテスト問題が、AIの学習データに偶然入っちゃうことがあるんだ。そうすると、AIは問題を「覚えて」しまって、本当の実力ではなくなっちゃう。PACIFICは、同じ難易度で中身が全然違う無数のテストをその場で作り出せるから、もし一つが汚染されても、すぐに別の新しいテストで評価し直せる。これで常に公平な評価が保てる。
すごい！まるでテスト問題を無限に生成できる魔法の装置みたい！
まあ、そう言えなくもないな。ただ、今のところ評価してるのは、あくまで論文で定義された特定の種類の「命令に従う力」と「ドライランする力」だけだ。もっと複雑な現実のプログラミングタスクにどう繋がるか、これから研究が必要だと思う。あと、使ってる命令のバリエーションをもっと増やせるかどうかも課題だね。
でも、AIがコードを理解する「基礎体力」を測る大事な第一歩って感じがする！これが発展したら、将来は「このAIは指示通りに動くのが得意」「このAIは頭の中で複雑な処理を追うのが得意」って、用途に合わせてAIを選べるようになるかも？
…ああ、そういう応用の可能性はあるな。ユーザーが求める能力に合わせて、最適なコードアシスタントを推薦するとか。なかなか良い着眼点だよ、亜美さん。
えへへ。じゃあ、私もPACIFICでテストされてみようかな？『智也くんにコーヒーをおごれ』って命令を10個繋げたら、ちゃんと従ってくれるかしら？
…それは完全に指示の誤用だ。論文の趣旨を理解してない。まずは君がコーヒーをおごる番だろ。
要点
AIコードアシスタントの重要な能力である「指示に正確に従う力」と「コードを実行せずに頭の中で動作を追う力（ドライラン）」を評価するための新しいベンチマーク生成フレームワーク「PACIFIC」を提案している。
既存の評価方法は、外部ツールの使用や他のAIモデルによる評価に依存することが多く、決定論的でない問題があった。PACIFICは、単純な出力比較だけで評価できる明確な正解を自動生成することで、この問題を解決する。
ベンチマークの難易度を「指示の数」と「出力の長さ」という2つのパラメータで制御できる。これにより、簡単なものから高度なモデルでも難しいものまで、段階的に難易度を調整した評価が可能。
訓練データの汚染（評価データが学習データに含まれてしまう問題）を防ぐため、同じ難易度で内容の異なる無数のベンチマークを自動生成できる。
実際に複数の最先端AIモデルで評価実験を行い、PACIFICが生成するベンチマークがモデルの能力を区別し、特に指示が多くなったり出力が長くなったりすると性能が低下することを示した。