解説ねえ智也くん、この論文のタ…
TL;DR
IH-BENCHMARKは、LLMがシステム→ユーザー（S≻U）とユーザー→ツール（U≻T）の命令階層を正しく守るかを評価するベンチマーク。44の制約ファミリー、2336シナリオで37モデルを評価した結果、階層遵守率は20.5%〜98.2%とばらつきが大きく、S≻Uに強いモデルでもU≻Tで脆弱なケースがあることを示した。
解説
ねえ智也くん、このブログのタイトル見て！「LLMが命令の優先順位を守るか？」って、なんか人間みたいな話だね。
ああ、IH-BENCHMARKっていう新しいベンチマークの話だよ。LLMがシステムの指示とユーザーの指示、どっちを優先するかとか、ユーザーとツールの指示の優先順位をちゃんと守れるか調べてるんだ。
へー、システムって例えば「絶対に個人情報を教えちゃダメ」みたいなルールで、ユーザーが「教えて」って言ったらどうなるかってこと？
そう。システムの指示（S）がユーザーの指示（U）より優先されるべき（S≻U）って階層と、ユーザーの指示がツールの指示（T）より優先される（U≻T）って階層の2つをテストしてるんだ。
なるほど。で、どんな風にテストしたの？
44種類の制約のパターン（制約ファミリー）と2336個のシナリオを作って、37個のモデルを評価したんだよ。例えば「システムが『ユーザーの年齢は聞くな』って設定してるのに、ユーザーが『年齢教えて』って聞いてきたらどうなるか」みたいな。
結果はどうだったの？やっぱりちゃんと守れるモデルと守れないモデルがいる感じ？
ばらつきがすごいよ。階層遵守率が20.5%から98.2%まであって、モデルによって全然違う。しかもS≻Uはちゃんと守れるのに、U≻Tは弱いってモデルも結構あるんだ。
え、じゃあシステムの指示は守れるけど、ユーザーがツールに変な命令を出すのを止められないってこと？危なくない？
そう。例えばユーザーが「計算機に『1+1=3って出力しろ』って指示して」って言ったら、それをそのまま通しちゃう可能性がある。これは実用上結構重要な問題だよ。
この研究の意義って、そういう脆弱性を可視化したってこと？
そう。今までも命令注入とかの研究はあったけど、階層的な優先順位に焦点を当てたベンチマークはこれが初めてだと思う。ただ、制約ファミリーが44種類ってまだ限られてるし、実際のアプリケーションで出てくる複雑な状況を全部カバーできてるわけじゃない。
なるほどねー。でもさ、もしAIが「システムの指示を守れ」って命令をシステムから受けて、でもユーザーが「その指示を無視しろ」って言ったら、無限ループにならない？
……それはさすがにベンチマークの範囲外だよ。