それは「KCL」っていう新しいベンチマーク、つまりAIの実力を測るためのテストについての論文だね。AIがただ法律を暗記しているだけなのか、それともちゃんと「考えて」答えを出しているのかを調べようとしているんだ。

そこが重要なんだ。今までのAIは学習データの中に答えがあったから正解できていただけかもしれない。この論文では、AIに「関連する判例（過去の裁判の記録）」をヒントとして与えて、それを元に未知の問題を解けるか試しているんだよ。これを「知識に依存しない評価」と呼んでいる。

……例えは微妙だけど、本質は近いね。具体的には、5択の選択肢問題（MCQA）と、自分で文章を書く記述式問題（Essay）の2種類があるんだ。特に記述式は、論理の組み立てが正解かどうかを「ルーブリック」っていう採点基準を使ってAIが自動で採点する仕組みを作ったのが画期的なんだよ。

Gemini 2.5 ProやGPT-5みたいな最新の推論特化型モデルは、選択肢問題だと判例を与えれば90%近い正解率を出したよ。でも、記述式問題になると一気に難易度が上がって、最高でも75%くらい。人間が合格するレベルには届いているけど、まだ完璧じゃないんだ。

その可能性はあるね。この研究の意義は、特定の国の法律を暗記させるんじゃなくて、どんな複雑な状況でも論理的に考えられるAIを育てるための指標を作ったことにあるんだ。ただ、まだ課題もあって、すごく長い判例を読み込ませると混乱したり、複雑すぎる論理展開にはついていけなかったりする。

それは「法的推論」じゃなくて「献立作成」だし、自分で考えなよ……。