TL;DR
人手の参照要約がないCOBOLコード要約でも、複数LLMの要約一致をLLM-as-judgeで構造化評価し、校正集約・トークン信頼度・コード網羅性を組み合わせて信頼度を推定する。2者の一致した矛盾だけを罰し、人手レビューに回す振り分けを狙う。
既存手法との違い
原論文は、BLEU/ROUGE/CodeBLEU/BERTScoreなどの参照ベース指標は人手参照が必要で使えないと整理する。perplexityやlogit確率は生成不確実性を示すが、意味解釈の自信過剰な誤りを捉えにくい。単一モデルのLLM-as-judgeもバイアス・一貫性・COBOL理解の懸念がある。提案法は複数モデル合議、構造化ペア比較、校正集約、トークン信頼度、網羅性評価を組み合わせる。提示本文では既存手法との定量的比較結果は確認できない。
使える条件
対象はCOBOLコードの段落・関数単位チャンクの要約。呼び出し先の固定説明とInfosysのプロンプト基準を入力に使う。生成にInfosys(OpenAIベース)、LLaMA 3.3-70B、Grok-3、評価にOpenAIモデルのLLM-as-judgeを用い、logprobsが取得できることが前提。G-Evalによる網羅性評価も構成に含む。データセット規模、計算資源、他言語への適用可否は提示本文からは確認できない。
限界と未検証の範囲
提示本文には評価の数値結果、データセット詳細、人手評価との相関が確認できない。COBOLかつ特定のチャンク分割・モデル構成・Pmax設定に依存し、k>3や他言語・他ドメインは未検証。LLM-as-judgeのバイアスや一貫性、校正の妥当性、信頼度スコアが実際の正しさをどこまで保証するかは本文範囲では不明。低信頼度を人手レビューに回す補助であり、専門家確認を代替しない。
解説
ねえ智也、このブログ『COBOL要約の信頼度を参照なしで推定するLLM合議と校正集約手法』って、参照要約なしでLLMの要約が信頼できるか見る話？なんでCOBOLなの？
COBOLはレガシーで、コメントや設計書がないことが多い。人手の参照要約も大量には作れない。だからBLEUとかROUGEみたいな参照ベース指標はそもそも使えない。そこが動機。
なるほど。じゃあ、正解がない中でどうやって自信を付けるの？
まずコードを段落や関数単位のチャンクに分ける。呼び出し先の固定説明とInfosysのプロンプト基準を入れて、複数モデルに要約させる。InfosysのOpenAIベース、LLaMA 3.3-70B、Grok-3の3つ。
3人の生徒に同じ問題を解かせて、答えの一致を見る感じ？
近い。ただし単に文字列比較じゃなくて、LLM-as-judgeがペアで比較する。Infosysの出力をアンカーにして、LLaMA対Infosys、Grok対Infosysの2比較。判定はAgree/Mostly Agree/Disagree、スコア、missing_details、contradictions、rationaleを構造化JSONで返す。
矛盾だけ罰するって聞いた。そこが面白いね。
そう。支持は2つのスコアを平均する線形プーリング。罰は両方のjudgeがDisagreeしたときだけ、しかも不一致の強さでスケールする。片方だけなら支持ゼロで済ませて二重罰しない。単発のノイズに強くする狙い。
じゃあ、両方が強く矛盾したら一気に低信頼度になるんだ。
うん。あとトークン単位の自信としてperplexityやlogit確率も使う。流暢でも内部的に不確かな生成を拾うため。コード網羅性はG-Evalで見る。で、これらを組み合わせて最終信頼度にする。
評価はどうなってるの？人手の参照要約との相関とか、既存手法との比較とか。
提示された本文にはSection 4で評価するとあるけど、数値結果やデータセット詳細、人手評価との相関は確認できない。だから『提案法が既存より何点良い』みたいなことは言えない。比較の整理としては、BLEU/ROUGE/CodeBLEU/BERTScoreは参照が必要で使えない、perplexityやlogitは意味解釈の自信過剰な誤りを捉えにくい、単一LLM-as-judgeはバイアスや一貫性の懸念がある、という位置づけ。提案法はそれらを組み合わせる。定量比較は本文範囲では不明。
条件は？COBOLだけ？チャンクは自由に切れる？
対象はCOBOLの段落・関数単位チャンク。チャンク分割はInfosysパイプライン側で固定で、提案法は下流だけを扱う。呼び出し先の説明も固定でプロンプトに注入。使うモデルとlogprobs取得が前提。他言語やデータ規模、計算資源は提示本文からは確認できない。
限界は？
評価範囲がCOBOLかつ特定のチャンク・モデル・Pmax設定に依存する。k>3は拡張可能と書いてあるけど未検証。LLM-as-judgeのバイアスや校正の妥当性、信頼度が実際の正しさをどこまで保証するかも本文だけじゃ分からない。低信頼度を人手レビューに回す補助であって、専門家確認の代替ではない。
意義は、全部を人手で見ずに、矛盾が corroborate されたものだけ回せるってこと？
そう。高一致・高網羅は下流利用の候補、矛盾や欠落があるものは専門家レビューに回すトリアージ。大規模なレガシー文書化で全部を人手確認するのは無理だから、そこに効く。
なるほどね。じゃあ最後に、LLMが3人寄れば文殊の知恵ってこと？COBOLの文殊さん。
……その言い方だと文殊がCOBOLを書いてるみたいになる。やめろ。