AIエージェントがバグを見抜く！JavaScriptエンジンの嘘を暴く『SmartOracle』

ユウ — Thu, 22 Jan 2026 22:36:57 +0000

解説

ねえねえ智也くん！この『SmartOracle』っていう論文のタイトル、なんだか強そうでかっこいいね！これって何の研究なの？

ああ、これはJavaScriptエンジンのバグを効率よく見つけるための研究だよ。AIエージェントを使って、テスト結果の『ノイズ』を自動で仕分けするんだ。

ノイズ？バグ探しなのに、ザーザーっていう雑音が入っちゃうの？

いや、そういう意味じゃない。JavaScriptエンジンってV8とかSpiderMonkeyとか色々あるだろ？それらに同じコードを実行させて結果を比べる『差分ファジング』っていう手法があるんだ。結果が違えばバグの可能性があるんだけど……。

あ、わかった！結果が違うのに、実はどっちも正解っていうパターンがあるんだね？

正解。仕様書で『ここは各エンジンが自由に決めていいよ』って書かれている部分があると、結果が違ってもバグじゃない。これが『ノイズ』だ。今までは人間が手作業でこれを見分けていたから、すごく時間がかかっていたんだよ。

へぇー、それをAIが代わりにやってくれるんだ！でも、AIも間違えたりしないの？

そこがこの論文の面白いところでね。一つのAIに全部任せるんじゃなくて、3つの専門家エージェントに役割分担させているんだ。まず『Finder』が問題のコードを特定して、『Checker』が仕様書を調べて正解を確認する。

チームプレーだね！3人目は何をするの？

3人目は『Critic（批評家）』だ。こいつが重要で、前の二人が出した結論が本当に正しいか、実際にターミナルでコードを実行して確かめるんだ。これでAI特有の嘘、つまりハルシネーションを防いでいるんだよ。

なるほど！口先だけじゃなくて、ちゃんと動かして証拠を見せるんだね。賢い！それで、結果はどうだったの？

すごい結果が出ているよ。従来のやり方よりコストは10分の1、速度は4倍になった。しかも、実際にV8とかの有名なエンジンから、まだ誰も気づいていなかったバグを8つも見つけたんだ。

8つも！？世界中のプログラミングを支えてるエンジンなのに、まだバグがあるなんてびっくり。このSmartOracleがあれば、もう人間は何もしなくていいのかな？

いや、まだ課題はあるよ。仕様が複雑すぎるとAIでも判断を迷うことがあるし、評価用のデータを作るためにK-means法っていうクラスタリング技術を使って効率化してはいるけど、最終的な確認にはまだ人間の知恵が必要な場面もあるんだ。

そっかぁ。でも、これが進化すれば他のソフトウェアのバグ探しにも使えそうだよね！

その通り。著者たちも、JavaScript以外のシステムに応用するのが次のステップだって言っているよ。テストの自動化がもっと進めば、ソフトウェアの信頼性は格段に上がるだろうね。

すごいなぁ。私もSmartOracleを使って、智也くんが私のプリンを勝手に食べたっていう『仕様外の動作』を暴いてもらおうかな！

それはバグじゃなくて、名前が書いてなかったから『未定義の動作』として処理しただけだ。AIを使うまでもないだろ！

JavaScriptエンジンのバグを見つける『差分ファジング』において、仕様上許容される動作の違い（ノイズ）をAIで自動判別する手法『SmartOracle』を提案。
SmartOracleは、原因コードを特定する『Finder』、仕様書を確認する『Checker』、実際に実行して検証する『Critic』という3つの専門エージェントを連携させるアーキテクチャを採用している。
従来のLLMを単純に使う方法と比較して、コストを10分の1に削減し、解析速度を4倍に向上させつつ、高い精度（再現率0.84）を達成した。
実際の運用で、V8やJavaScriptCore、GraalJSといった主要なJavaScriptエンジンから、これまで見つかっていなかった8つの未知のバグを発見することに成功した。