TL;DR
WebNLG17/20とDARTを使い、最近のLLM（GPT-5系・Gemma-4・Granite・Nemotron）と微調整T5系を比較した実証研究です。参照ベース指標では差が縮小し、グラフ接地の評価ではLLMが良好でした。一方、LLM審判は支持されない余談を検出しにくく、両方式とも忠実性課題が残ります。
解説
智也くん、このブログ読んだ？ 知識グラフから文章を作るやつで、LLMと微調整モデルを比べた研究だって。
読んだ。WebNLG17/20とDARTを使って、最近のLLMと微調整したT5系を比べてる。
最近のLLMってGPT-5系とかGemma-4、Granite、Nemotronでしょ？ すごい名前がいっぱいで、もう勝負ついてる感じ？
そこが面白いところ。参照ベースの指標だと、LLMと微調整モデルの差は思ったより縮む。
え、そうなんだ。じゃあLLMが圧勝ってわけじゃないんだ。
うん。でもグラフに接地した評価だとLLMが良好だった。評価の仕方で見え方が変わる。
グラフ接地の評価って、元の知識グラフと合ってるかを見る感じ？
そう。参照文との一致だけじゃなくて、グラフの内容をちゃんと使えてるかを見る。
なるほど。文章生成って、正解文に似てればいいってもんでもないもんね。
あとLLMを審判に使う評価も試してる。でも、支持されない余談を検出しにくい。
余談って、グラフにないことを勝手に足しちゃうみたいな？
そういうこと。もっともらしくても根拠がないと忠実性の問題になる。
うーん、LLM審判も万能じゃないのか。じゃあ人手で見るのも大事そう。
この研究でも、両方式とも忠実性の課題は残るって結論。評価設計の重要性が出てる。
モデル選びだけじゃなくて、どう評価するかも研究の結果を左右するんだね。
そう。参照ベースだけ、グラフ接地だけ、LLM審判だけ、って決め打ちは危ない。
じゃあ私も、LLMに文章作らせて、それをLLMに採点させる、みたいな楽な流れに飛びつかないようにする。
その前に、まず元のグラフを読もう。
はいはい。知識グラフ、私の交友関係くらいシンプルならいいのに。
それはだいぶ複雑そうだ。