TL;DR
G-Retrieverのグラフトークンは、複数のデータ・エンコーダ・LLM・調整条件で入力グラフによらずほぼ同一に崩壊しました。既定設定では平均・別例・破損グラフのトークンに置換しても正解率はほとんど変わらず、グラフを見ない定数トークンが同等以上でした。原因候補はSigmoid投影と回答損失のend-to-end学習で、2段階学習は崩壊を抑えるものの、グラフ利用や精度改善は保証しません。精度ではなく置換介入・尤度・probeで確認する評価手順が重要です。
解説
ねえ智也くん、このブログ、タイトルが「グラフ入力が回答に効くか不安な開発者へ G-Retrieverのトークン崩壊を診断」ってなってるんだけど、トークン崩壊って何？
G-Retrieverがグラフを大規模言語モデルに渡すときのグラフトークンが、入力グラフによらずほぼ同じになる現象。複数のデータ、エンコーダ、大規模言語モデル、調整条件で確認されてる。
え、どんなグラフでも同じトークン？ それってグラフを見てないってことじゃん。
そう。既定設定では、平均に置き換えても、別の例のトークンに置き換えても、破損グラフのトークンに置き換えても、正解率はほとんど変わらなかった。グラフを見ない定数トークンが同等以上だった。
それは開発者にはきつい。グラフ入力の意味がなくなるもんね。
だから、精度が高い＝グラフを使ってる、とは限らない。原因候補はシグモイド投影と、回答損失でエンドツーエンドに学習する部分。2段階学習は崩壊を抑えるけど、グラフ利用や精度改善は保証しない。
なるほど。じゃあ、どう確認すればいいの？ 精度だけ見てたらダメってこと？
置換介入でトークンを変えて挙動を見る。尤度を見る。プローブで内部表現を調べる。精度じゃなくて、グラフに依存しているかを確かめる手順が大事。
グラフを渡したのに「だいたい同じです」って返ってくるのが怖い。私のレポートの参考文献欄みたい。
その例えは危険すぎる。でも、グラフトークンが飾りになってないかはちゃんと診断しよう。
じゃあ明日から、グラフ入力くんに「本当に仕事してる？」って面接するね。
面接じゃなくて置換介入な。