解説

ねえねえ、智也くん！この論文のタイトル、「幾何学的な分析」って書いてあるけど、AIが算数の図形の問題を解く話なの？

いや、そうじゃないよ。これは小型のモデルがつく嘘、いわゆる「ハルシネーション」を、言葉の配置の「形」で分析しようっていう研究なんだ。

ハルシネーション！知ってるよ、AIが自信満々に嘘をつくやつでしょ？でも、それが幾何学とどう関係あるの？

いい質問だね。まず、AIが言葉を処理するときは「埋め込み空間」っていう多次元の地図みたいな場所に言葉を配置するんだ。この論文の面白いところは、同じ質問に対して何度も回答させたとき、正しい答えは地図上の一箇所にギュッと固まるけど、嘘の答えはあちこちにバラバラに散らばるっていう性質を見つけたことなんだよ。

へぇー！正しい答えはみんな仲良しで集まってるけど、嘘つきはみんな勝手な方向に行っちゃうってこと？

例えとしては悪くないね。この「密集度合い」の違いを幾何学的に分析すれば、AIが嘘をついているかどうかがわかるんじゃないか、っていうのがこの論文の核心なんだ。

でも、どうやってその「固まってる」とか「バラバラ」っていうのを判断するの？

そこで「フィッシャー判別分析（FDA）」っていう手法を使うんだ。これは、データが一番きれいに分かれて見える「角度」を探す技術だね。これを使うと、正しい回答のグループと嘘の回答のグループを、埋め込み空間の中ではっきりと分けることができるんだよ。

なるほど、一番見やすい角度から観察するってことか！それで、実際にやってみてどうだったの？

実験の結果がすごくてね。たった30個から50個くらいの回答に「これは正解」「これは嘘」ってラベルを付けるだけで、残りの何千個もの回答の正誤を90%以上の精度で当てることができたんだ。これを「ラベル伝播」って呼んでいるよ。

えっ、たったそれだけでいいの！？もっと何万個もチェックしなきゃいけないのかと思ってた！

効率的だよね。しかも、この研究でわかった重要なポイントは、AIが「答えを知らないから嘘をつく」だけじゃないってことなんだ。同じ質問に何度も答えさせると、たまに正解するのに、別の回では嘘をつくことがある。つまり、知識はあるのに、それを取り出すときに不安定になっちゃうのが原因なんだよ。

あー、テストで答えはわかってるのに、緊張してド忘れしちゃうみたいな感じかな？

まあ、人間に例えるならそんな感じかもね。この「検索の不安定性」を幾何学的に捉えたのが、この論文の大きな意義なんだ。これからは、モデルの内部を複雑に調べるんじゃなくて、回答の「分布」を見るだけで信頼性をチェックできるようになるかもしれない。

すごい！じゃあ、将来はスマホに入ってるような小さなAIでも、嘘をつかないように見張れるようになるんだね！

そうだね。ただ、今回は特定の事実に関する質問がメインだったから、もっと複雑な推論とか、まだ課題はあるけどね。でも、小型モデルの信頼性を高めるための大きな一歩なのは間違いないよ。

よーし、私も智也くんが嘘をついてないか、今度から幾何学的に分析しちゃうぞ！まずは智也くんの周りをぐるぐる回って密集度をチェックしなきゃ！

……それはただの不審者だからやめなさい。

要点

• 小型LLMが生成するハルシネーション（もっともらしい嘘）を、埋め込み空間上の幾何学的な配置から分析した研究。
• 「正しい回答は埋め込み空間で一箇所に密集し、ハルシネーションはバラバラに散らばる」という仮説を証明した。
• フィッシャー判別分析（FDA）を用いることで、正しい回答と嘘の回答を高い精度で分離できることを示した。
• わずか30〜50個の正誤ラベルを与えるだけで、大量の回答の正誤を90%以上の精度（F1スコア）で自動判定できる手法を提案。
• ハルシネーションの原因は「知識の欠如」だけでなく、持っている知識を正しく取り出せない「検索の不安定性」にあることを指摘した。

The post AIの嘘は「形」で見抜ける！？小型AIのハルシネーションを幾何学で解明する first appeared on 亜美と智也のAI論文解説.

ねえねえ、智也くん！これ見て！『複雑度ブースト強化学習によるオリンピアレベル幾何学LLMエージェントの実現』…なんかすごそうなタイトル！

ああ、その論文か。確かに面白い研究だよ。要するに、AIが国際数学オリンピックレベルの幾何学問題を解けるようになったって話。

え、マジで？数学オリンピックって、世界で一番頭いい高校生たちが解く問題でしょ？AIがそんなの解けるの？

うん。でも、これまでのAI、例えばAlphaGeometry 2っていうのは、3億個もの訓練データを使っていたんだ。でも、この論文の方法はたった1万3千個のデータで、それ以上の性能を出したんだ。

え、ちょっと待って。3億個と1万3千個…桁が違いすぎない？どうやってそんなに少ないデータでできるの？

それがこの研究の肝なんだ。AIエージェントが、シンボリックエンジンっていう幾何学の定理を自動で検証してくれるツールと、何百回も対話するんだ。問題を解く過程で、自分で補助線とか補助点を提案して、ツールに「これって正しい？」って確認しながら進んでいく。

へえ…人間が問題解くときみたいに、試行錯誤するってこと？

そう。特に幾何学は、どこに補助線を引くかっていう「ひらめき」がすごく重要で、これが弱いヒューリスティクスって呼ばれて、AIには難しかったんだ。でも、長い対話の中で試行錯誤することで、これを克服したんだよ。

なるほど…で、その「複雑度ブースト強化学習」って何？かっこいい名前だね。

強化学習でAIを訓練するときに、いきなり超難しい問題を与えるんじゃなくて、簡単な問題から始めて、だんだん問題を難しくしていくんだ。ゲームでいうと、チュートリアルから始めて最終ボスに挑むみたいな感じ。これで効率的に学習できる。

すごい！で、実際の結果はどうなったの？

2000年から2024年までのIMOの幾何学問題50問中、44問を解くことに成功した。金メダリストの平均スコアが40.9点だから、それを上回る成績だ。しかも、人間の解答にはない新しい補助構図を思いつくこともあったらしい。

え、AIが人間には思いつかないような解き方をするってこと？それって…ちょっと怖くない？

怖いってより、可能性を感じるよね。AIが人間の思考の枠を超える可能性を示している。これが意味するのは、AIが単に人間の真似をするんじゃなくて、新しい発見や創造ができるかもしれないってことだ。

確かに…でも、これで完璧なの？何か課題とかあるんでしょ？

そうだね。一つは、一問解くのに200回以上もツールと対話するから、時間がかかること。あと、この方法が幾何学以外の数学分野でも通用するかはまだわからない。でも、この「長期的な対話を通じた試行錯誤」っていうアプローチは、他の複雑な問題を解くときにも応用できる可能性はあると思う。

ふーん…つまり、AIが数学オリンピックの問題を解くだけじゃなくて、もっと広い意味で「難しい問題を、少ない知識から試行錯誤で解く」ための方法論を提案してるってこと？

そう。それがこの研究の一番の意義かもしれない。大量のデータを用意しなくても、対話と試行錯誤で高度な推論ができるAIの可能性を示したんだ。

わあ、すごい！…ってことは、このAIに私の数学の宿題も解いてもらおうかな？

…亜美さん、それはただのサボりでしょ。自分で解きなよ。

要点

国際数学オリンピック（IMO）レベルの幾何学問題を解くためのLLMエージェント「InternGeometry」を提案。

従来の専門家モデル（AlphaGeometry 2など）は大規模な合成データと探索に依存していたが、本手法はわずか13Kの訓練例で同等以上の性能を達成。

シンボリックエンジンとの長期的な対話（200回以上）を通じて、補助構図の提案と検証を繰り返し、弱いヒューリスティクスを克服。

複雑度を段階的に上げる強化学習（CBRL）を導入し、効率的な訓練を実現。

IMO 2000-2024の50問中44問を解き、金メダリストの平均スコア（40.9）を上回る性能を示した。

人間の解答には現れない新しい補助構図を提案できる創造性も確認。

参考論文: http://arxiv.org/abs/2512.10534v1

The post AIが数学オリンピックに挑戦！たった1万3千の例で人間を超える幾何学問題ソルバー first appeared on 亜美と智也のAI論文解説.

ねえねえ、智也くん！これ、面白そうな論文のタイトル見つけたんだけど…『Tri-Bench: Stress-Testing VLM Reliability on Spatial Reasoning under Camera Tilt and Object Interference』…なんか難しそう。これ、何について書いてあるの？

ああ、それか。簡単に言うと、画像と言葉を理解するAI（VLM）が、三角形の形や大きさを正しく認識できるかどうかを、カメラの角度や邪魔な物がある状況でテストした研究だよ。

三角形？なんでそんな単純な形でテストするの？もっと複雑な形の方がいいんじゃない？

そこがポイントなんだ。三角形は一番基本的な図形だから、AIの空間認識の「根本的な能力」を純粋に測れるんだ。複雑すぎると、どこで間違えたのか分かりにくくなるでしょ？

なるほど！で、どうやってテストしたの？

1メートル四方の正方形の枠の中に、100種類の三角形を描いて、4つの条件で写真を撮ったんだ。カメラを真上から撮る「平面」と、少し傾けて撮る「傾斜」。それから、三角形のそばに何も置かない場合と、本やリンゴみたいな日常品を置く場合。全部で400枚の画像を作って、4つの有名なVLMに同じ質問を投げかけた。

質問って？

「この三角形は正三角形？二等辺三角形？それとも不等辺三角形？」とか、「辺の長さの比は？」とか、「一番大きい角と小さい角の差は？」とか、全部で6種類の幾何学的な問題だ。重要なのは、プロンプト（AIへの指示文）に『茶色いテープで作った正方形の枠がある』ってヒントを入れておいたこと。これがあれば、カメラが傾いても、数学的な変換（ホモグラフィ）を使って正しい3Dの形を推論できるはずなんだ。

へー！で、AIくんたちはそのヒントをうまく使えたの？

それが、全然ダメだった。結果を見ると、AIたちは3Dの実世界を考えずに、2Dの写真に写っている見た目の形で答えを出していたんだ。例えば、実物は直角三角形なのに、写真では違って見えることがあるだろ？AIはその「写真での見た目」に引っ張られて間違えることが多かった。ヒントは無視されていたんだ。

えー！すごい根本的なミスじゃない？実験の結果は具体的にどうだったの？

全体の平均正解率は69%くらい。一番良かったGemini 2.5 Proでも75%だ。で、一番深刻なのは「形の分類」の結果だ。データセットには不等辺三角形が一番多くて、次に鋭角三角形が多いんだけど、AIはほぼ確実に「不等辺三角形」か「鋭角三角形」って答えてしまうんだ。正三角形や二等辺三角形、直角三角形の正解率は…ほぼ0%に近い。

ほぼ0%！？それはひどい！ただの多数決で答えてるだけじゃん！

そう、論文では「多数派クラスバイアス」って呼んでいる現象だ。細かい違いを見極める精密な推論ができていない証拠だね。あと、カメラが傾くと正解率が約4%下がった。一方で、そばに物を置いても、ほとんど影響はなかった。

物が邪魔にならないのは意外。でも、カメラの角度で性能が落ちるのは、実用的にはすごく問題だよね。ロボットのカメラはいつも真上からじゃ撮れないし。

その通り。この研究の意義はそこにあるんだ。AIがロボットナビゲーションやAR/VRの測定ツール、医療支援などで使われるには、こうした基本的な3D空間認識が信頼できなければならない。でも、単純な三角形の認識すら、ヒントを与えてもうまくいかない。これは「信頼できるエージェントAI」を目指す上で、大きな壁だってことを示している。

確かに…。じゃあ、この先どうすればいいんだろう？この論文の限界とか、将来の研究は？

この研究は、あくまで単一の画像、単一のプロンプト、平面内の三角形だけを対象にしている。もっと複雑な形や、複数の視点からの画像を使う、プロンプトの工夫をする、カメラの傾きの度合いと精度の関係を細かく調べる…といったことが今後の課題だね。あと、AIが多数派に偏るのは、学習データに偏りがあるからかもしれないから、そこも調べる必要がある。

ふーん、奥が深いね。でも、三角形すらまともに認識できないAIに、将来、車の運転とか任せるの、ちょっと怖くない？

…その通りだ。だからこそ、こういう「ストレステスト」で弱点をあぶり出して、直していくことが必要なんだ。Tri-Benchは、そのための小さくて再現性のある診断ツールになるかもしれない。

なるほど！じゃあ、私が将来AIに「このケーキ、三角形に切って！」ってお願いするときは、カメラを真上から撮って、不等辺三角形って言い張るのが正解ってこと？

…亜美さん、それはただのズルだ。それより、AIが正しく認識できるように、研究者が頑張らないとね。

要点

Vision-Language Model (VLM)の空間推論能力を評価するための新しいベンチマーク「Tri-Bench」を提案した。

Tri-Benchは、カメラの傾き（ポーズ）と物体の干渉という、実世界での展開において重要な2つの要因に焦点を当てている。

4つの最新VLMを評価した結果、平均精度は約69%であり、モデルは3Dの実世界ではなく、2Dの画像平面に基づいて推論している傾向が強く見られた。

特に、正三角形や二等辺三角形、直角三角形といった「少数派」の形状分類タスクでは精度がほぼ0%にまで低下し、多数派クラスへの強いバイアスが明らかになった。

カメラが傾くと精度が約4%低下する一方で、物体の干渉による影響はほとんど見られなかった。

これらの結果は、VLMがプロンプトで明示的に与えられた「枠」の手がかり（ガードレール）を正しく活用できておらず、信頼性のあるエージェントAIの構築には根本的な課題があることを示している。

参考論文: http://arxiv.org/abs/2512.08860v1

The post AIは三角形すらまともに見分けられない？カメラの角度で正解率ダウンの衝撃 first appeared on 亜美と智也のAI論文解説.