要点大規模言語モデル（LLM）…
解説
ねえねえ、智也くん！この論文のタイトル、「幾何学的な分析」って書いてあるけど、AIが算数の図形の問題を解く話なの？
いや、そうじゃないよ。これは小型のモデルがつく嘘、いわゆる「ハルシネーション」を、言葉の配置の「形」で分析しようっていう研究なんだ。
ハルシネーション！知ってるよ、AIが自信満々に嘘をつくやつでしょ？でも、それが幾何学とどう関係あるの？
いい質問だね。まず、AIが言葉を処理するときは「埋め込み空間」っていう多次元の地図みたいな場所に言葉を配置するんだ。この論文の面白いところは、同じ質問に対して何度も回答させたとき、正しい答えは地図上の一箇所にギュッと固まるけど、嘘の答えはあちこちにバラバラに散らばるっていう性質を見つけたことなんだよ。
へぇー！正しい答えはみんな仲良しで集まってるけど、嘘つきはみんな勝手な方向に行っちゃうってこと？
例えとしては悪くないね。この「密集度合い」の違いを幾何学的に分析すれば、AIが嘘をついているかどうかがわかるんじゃないか、っていうのがこの論文の核心なんだ。
でも、どうやってその「固まってる」とか「バラバラ」っていうのを判断するの？
そこで「フィッシャー判別分析（FDA）」っていう手法を使うんだ。これは、データが一番きれいに分かれて見える「角度」を探す技術だね。これを使うと、正しい回答のグループと嘘の回答のグループを、埋め込み空間の中ではっきりと分けることができるんだよ。
なるほど、一番見やすい角度から観察するってことか！それで、実際にやってみてどうだったの？
実験の結果がすごくてね。たった30個から50個くらいの回答に「これは正解」「これは嘘」ってラベルを付けるだけで、残りの何千個もの回答の正誤を90%以上の精度で当てることができたんだ。これを「ラベル伝播」って呼んでいるよ。
えっ、たったそれだけでいいの！？もっと何万個もチェックしなきゃいけないのかと思ってた！
効率的だよね。しかも、この研究でわかった重要なポイントは、AIが「答えを知らないから嘘をつく」だけじゃないってことなんだ。同じ質問に何度も答えさせると、たまに正解するのに、別の回では嘘をつくことがある。つまり、知識はあるのに、それを取り出すときに不安定になっちゃうのが原因なんだよ。
あー、テストで答えはわかってるのに、緊張してド忘れしちゃうみたいな感じかな？
まあ、人間に例えるならそんな感じかもね。この「検索の不安定性」を幾何学的に捉えたのが、この論文の大きな意義なんだ。これからは、モデルの内部を複雑に調べるんじゃなくて、回答の「分布」を見るだけで信頼性をチェックできるようになるかもしれない。
すごい！じゃあ、将来はスマホに入ってるような小さなAIでも、嘘をつかないように見張れるようになるんだね！
そうだね。ただ、今回は特定の事実に関する質問がメインだったから、もっと複雑な推論とか、まだ課題はあるけどね。でも、小型モデルの信頼性を高めるための大きな一歩なのは間違いないよ。
よーし、私も智也くんが嘘をついてないか、今度から幾何学的に分析しちゃうぞ！まずは智也くんの周りをぐるぐる回って密集度をチェックしなきゃ！
……それはただの不審者だからやめなさい。
要点
- 小型LLMが生成するハルシネーション（もっともらしい嘘）を、埋め込み空間上の幾何学的な配置から分析した研究。
- 「正しい回答は埋め込み空間で一箇所に密集し、ハルシネーションはバラバラに散らばる」という仮説を証明した。
- フィッシャー判別分析（FDA）を用いることで、正しい回答と嘘の回答を高い精度で分離できることを示した。
- わずか30〜50個の正誤ラベルを与えるだけで、大量の回答の正誤を90%以上の精度（F1スコア）で自動判定できる手法を提案。
- ハルシネーションの原因は「知識の欠如」だけでなく、持っている知識を正しく取り出せない「検索の不安定性」にあることを指摘した。