TL;DREMBL AI LI…
TL;DR
GSRは、ルーブリック（評価基準）を、応答を確認する前に型付きの評価グラフにコンパイルする手法です。基準ごとの判断をLLMが行い、その後の合成（集約・ゲート・変換）は決定論的な演算子が実行します。これにより、評価プロセスが監査可能になり、GPT-OSS-120Bでは4つのポイントワイズデータセットで正確なスコア一致率が0.62〜6.75ポイント向上しました。
解説
ねえ智也くん、このGSRって論文、タイトルに「ルーブリックを実行可能なグラフに変換」ってあるけど、どういうこと？
ああ、簡単に言うと、LLMで評価するときの基準（ルーブリック）を、あらかじめグラフ構造に変換しておくんだ。それで、評価の手順が明確になる。
グラフって、ノードとエッジのあれ？評価基準がどうしてグラフになるの？
そう。例えば「文法」「内容」「構成」みたいな各基準がノードになって、それらをどう組み合わせて最終スコアにするかがエッジで表される。
なるほど。でも、なんでそんなことする必要があるの？普通にLLMに「評価して」って言えばいいんじゃない？
それが問題で、普通にやるとLLMがどうやってスコアを出したかがブラックボックスになるんだ。評価の根拠が不明瞭だと、監査できないし、信頼性も低い。
あー、確かに。AIが採点するとき、なぜその点数なのか説明できないと困るよね。
そこでGSRは、ルーブリックをグラフにコンパイルして、各基準ごとの判断だけをLLMにやらせる。その後の集計やゲート処理は決定的な演算子で行うから、プロセスが透明になる。
つまり、LLMは「この回答は文法が良いか？」みたいな個別の判断だけして、最終スコアはプログラムが計算するってこと？
その通り。それで、評価の各ステップが追跡可能になる。
で、その効果はどうだったの？
GPT-OSS-120Bというモデルで、4つのポイントワイズデータセットで正確なスコア一致率が0.62〜6.75ポイント向上した。
おー、結構上がってるね！でも、なんでそんなに上がるの？
理由はいくつかあるけど、ルーブリックをグラフにすることで、評価の手順が明確になり、LLMが迷わずに各基準を判断できるからだと思う。
なるほどね。でも、この手法には限界とかあるの？
うーん、ルーブリックをグラフに変換する作業自体が手間だし、複雑なルーブリックだとグラフが大きくなりすぎる可能性がある。
あー、確かに。それに、ルーブリックがうまく設計されてないと、グラフも意味ないよね。
そうだね。でも、透明性が重要な分野ではかなり有用だと思う。
ふーん、なんかAI評価の「説明責任」って感じだね。でも、私にはまだちょっと難しいなあ。
大丈夫、慣れれば簡単だよ。
じゃあ、今度ルーブリックをグラフにする練習してみようかな。でも、グラフって言うと、やっぱり数学のグラフを思い出してちょっと怖いけどね。
数学のグラフよりは簡単だよ。むしろ、こっちの方がずっと実用的だ。