解説ねえ智也くん、この論文のタ…
TL;DR
SciFigAlignは、論文の図を「明瞭さ」「関連性」「情報量」「構造」の4軸で評価するマルチモーダルモデル。図・キャプション・引用段落・アブストラクトを入力とし、CLIPとSciBERTをファインチューニング、クロスアテンションとCubeMLPで融合。論文内の図同士の順序も学習し、MAE 0.3524、ペアワイズ精度81.64%を達成。LLM判定より59%誤差低減。
解説
ねえ智也くん、この論文のタイトル、『論文図の品質を4軸でスコアリング』って面白そう！図の良し悪しって、今まで人に頼ってたんじゃないの？
そう。従来は人手評価か、単純な画像特徴量だけだった。でもこのSciFigAlignは、図そのものだけでなく、キャプションや本文、アブストラクトも一緒に使って多面的に評価するんだ。
へえ、4軸って具体的に何？「明瞭さ」とか？
「明瞭さ」「関連性」「情報量」「構造」の4つ。例えば「関連性」は図が本文の内容とどれだけ合ってるか、「構造」はレイアウトや順序のわかりやすさを評価する。
なるほどね。でも、どうやって機械にそんなこと教えるの？
CLIPっていう画像と言語を結びつけるモデルと、SciBERTっていう科学論文用の言語モデルをファインチューニングして、クロスアテンションとCubeMLPっていう仕組みで情報を融合してる。さらに論文内の図の順序も学習させてるんだ。
順序も学習って、図1と図2のどっちが先に出てくるべきかってこと？それって結構高度じゃない？
そう。それでMAE（平均絶対誤差）が0.3524、ペアワイズ精度が81.64%って結果が出てる。しかもLLM（大規模言語モデル）で判定するより59%も誤差が少ない。
すごい！じゃあもう人間の評価はいらないってこと？
いや、まだ限界もある。例えば図の種類（グラフか写真か）によって性能が違うし、あくまでスコアリングであって、図の改善方法までは教えてくれない。あと、学習データが英語論文中心だから、日本語論文だとどうなるかは未知数。
なるほどね。でも査読のときとか、自分で図を作るときの参考になりそう！私も卒論の図、これで採点してもらおうかな。
その前に、まずは図をもっとちゃんと作ろうよ。