解説ねえ智也くん、この論文のタ…
TL;DR
GAMUTは、長文生成の事実完全性（回答に必要な全情報が含まれているか）を評価するベンチマークです。従来の独立した真偽チェックでは捉えられない、順序やカバレッジ、重要度の階層を表現できる「2段階メタルーブリック」を導入。1,813問の実画像ベース質問で14モデルを評価した結果、最高スコアは58.7%と課題は未解決です。
解説
ねえ智也くん、この「GAMUT」ってベンチマーク、何がすごいの？
ああ、これは長文生成の事実完全性を測る新しいベンチマークだよ。従来の真偽チェックじゃ捉えられない、情報の順序やカバレッジ、重要度の階層を評価できるんだ。
へえ、どうやって評価するの？
「2段階メタルーブリック」っていう手法を使うんだ。まず大まかな項目で評価して、次に細かい項目でチェックする。これで、情報が過不足なく含まれているかがわかる。
なるほど！で、実際にどれくらいのモデルを試したの？
1,813問の実画像ベース質問で、14モデルを評価したよ。最高スコアは58.7%で、まだ課題が残ってる。
58.7%って、半分ちょっとか…。人間でも難しいの？
そうだね。特に、複数の情報を順序立てて説明するタスクでモデルが苦戦してた。このベンチマークの意義は、そういう弱点を可視化できることだよ。
でも、まだ限界もあるんでしょ？
うん。画像ベースの質問に限定されてるし、ルーブリックの設計が主観的になりがちな点は課題だね。
そっか。でも、これでAIがもっと賢くなるなら、私も勉強しなきゃ！…って、まずはこの論文を読めるようにならないとね（笑）
その前に、ルーブリックの意味を調べたほうがいいんじゃないか？