LLM検証の「レベル」を整理する：検証仕様の出所で決まるL0〜L5

ああ、最近LLMの推論を検証する手法がたくさんあるんだけど、それぞれ「レベル」って言葉を違う意味で使ってるんだよ。粒度とか抽象度とかリスクとか、いろいろ。

そう。だからこの論文では、検証仕様がどこから来るかっていう一つの軸でL0からL5まで定義してるんだ。

検証するときに何を正しいとするか、その基準のことだよ。例えば、L0は仕様がなくて、ただモデルの出力を見るだけ。L1は人手で作った仕様、L2は形式的に指定可能な性質、みたいに上がっていく。

L5は完全性を保証するレベルなんだけど、形式的に指定可能な性質でしか完全性は達成できないって言ってる。つまり、経験的な検証では正しさ（L2）が上限なんだ。

L3は仕様がモデル自身から来る場合、L4は別のモデルが生成した仕様を使う場合だよ。でも、それらは完全性を保証できないから、実務では「検証の仕様が誰由来か」を確認することが大事って言ってる。

具体的な実験はあまりなくて、既存の検証手法をこのL0〜L5の枠組みに当てはめて整理してる。それで、どの手法がどのレベルに相当するかを示してるんだ。

そう。それと、完全性を謳う手法でも、実際にはL2が上限だってことを明確にしたのが大きい。

うん。形式的に指定可能な性質だけに焦点を当ててるから、自然言語でしか表現できない性質は扱えない。あと、L3やL4の実用的な価値がまだ曖昧だって批判もあるかも。

そうだね。ただ、実際に使うときは、どのレベルを目指すかじゃなくて、仕様が誰由来かをちゃんと確認しないとね。

まあ、そうなるね。でも、君の仕様が正しいかどうかはまた別の問題だけど。

それはL0だな。