解説

ねえねえ、智也くん！この論文のタイトル、「幾何学的な分析」って書いてあるけど、AIが算数の図形の問題を解く話なの？

いや、そうじゃないよ。これは小型のモデルがつく嘘、いわゆる「ハルシネーション」を、言葉の配置の「形」で分析しようっていう研究なんだ。

ハルシネーション！知ってるよ、AIが自信満々に嘘をつくやつでしょ？でも、それが幾何学とどう関係あるの？

いい質問だね。まず、AIが言葉を処理するときは「埋め込み空間」っていう多次元の地図みたいな場所に言葉を配置するんだ。この論文の面白いところは、同じ質問に対して何度も回答させたとき、正しい答えは地図上の一箇所にギュッと固まるけど、嘘の答えはあちこちにバラバラに散らばるっていう性質を見つけたことなんだよ。

へぇー！正しい答えはみんな仲良しで集まってるけど、嘘つきはみんな勝手な方向に行っちゃうってこと？

例えとしては悪くないね。この「密集度合い」の違いを幾何学的に分析すれば、AIが嘘をついているかどうかがわかるんじゃないか、っていうのがこの論文の核心なんだ。

でも、どうやってその「固まってる」とか「バラバラ」っていうのを判断するの？

そこで「フィッシャー判別分析（FDA）」っていう手法を使うんだ。これは、データが一番きれいに分かれて見える「角度」を探す技術だね。これを使うと、正しい回答のグループと嘘の回答のグループを、埋め込み空間の中ではっきりと分けることができるんだよ。

なるほど、一番見やすい角度から観察するってことか！それで、実際にやってみてどうだったの？

実験の結果がすごくてね。たった30個から50個くらいの回答に「これは正解」「これは嘘」ってラベルを付けるだけで、残りの何千個もの回答の正誤を90%以上の精度で当てることができたんだ。これを「ラベル伝播」って呼んでいるよ。

えっ、たったそれだけでいいの！？もっと何万個もチェックしなきゃいけないのかと思ってた！

効率的だよね。しかも、この研究でわかった重要なポイントは、AIが「答えを知らないから嘘をつく」だけじゃないってことなんだ。同じ質問に何度も答えさせると、たまに正解するのに、別の回では嘘をつくことがある。つまり、知識はあるのに、それを取り出すときに不安定になっちゃうのが原因なんだよ。

あー、テストで答えはわかってるのに、緊張してド忘れしちゃうみたいな感じかな？

まあ、人間に例えるならそんな感じかもね。この「検索の不安定性」を幾何学的に捉えたのが、この論文の大きな意義なんだ。これからは、モデルの内部を複雑に調べるんじゃなくて、回答の「分布」を見るだけで信頼性をチェックできるようになるかもしれない。

すごい！じゃあ、将来はスマホに入ってるような小さなAIでも、嘘をつかないように見張れるようになるんだね！

そうだね。ただ、今回は特定の事実に関する質問がメインだったから、もっと複雑な推論とか、まだ課題はあるけどね。でも、小型モデルの信頼性を高めるための大きな一歩なのは間違いないよ。

よーし、私も智也くんが嘘をついてないか、今度から幾何学的に分析しちゃうぞ！まずは智也くんの周りをぐるぐる回って密集度をチェックしなきゃ！

……それはただの不審者だからやめなさい。

要点

• 小型LLMが生成するハルシネーション（もっともらしい嘘）を、埋め込み空間上の幾何学的な配置から分析した研究。
• 「正しい回答は埋め込み空間で一箇所に密集し、ハルシネーションはバラバラに散らばる」という仮説を証明した。
• フィッシャー判別分析（FDA）を用いることで、正しい回答と嘘の回答を高い精度で分離できることを示した。
• わずか30〜50個の正誤ラベルを与えるだけで、大量の回答の正誤を90%以上の精度（F1スコア）で自動判定できる手法を提案。
• ハルシネーションの原因は「知識の欠如」だけでなく、持っている知識を正しく取り出せない「検索の不安定性」にあることを指摘した。

The post AIの嘘は「形」で見抜ける！？小型AIのハルシネーションを幾何学で解明する first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この論文のタイトル「相互推論が小型LLMを強力な問題解決者にする」って面白そうだね！内容を教えてくれない？

もちろん！この論文は、rStarという新しい手法を提案していて、小型言語モデルの推論能力を大幅に向上させることができるんだ。

へぇ、どうやってそんなことができるの？

rStarは自己対戦型の相互推論アプローチを使っていて、推論を生成と識別のプロセスに分けるんだ。まず、ターゲットのSLMが人間のような推論アクションを使って高品質な推論経路を作るんだよ。

なるほど！それで、別のSLMがその経路を検証するの？

そうそう！別のSLMがその推論経路を確認して、相互に一致した経路が正しい可能性が高いとされるんだ。これによって、より正確な推論ができるようになるんだよ。

実際にどんな実験をしたの？結果はどうだったの？

いくつかのデータセットで実験を行ったんだけど、特にGSM8Kデータセットでは、精度が12.51%から63.91%に向上したり、他のモデルでも大幅に改善されたんだ。

すごい！それってどんな意味があるの？

この研究は、小型モデルでも高い推論能力を持たせる可能性があることを示していて、将来的にはより多くのアプリケーションに応用できるかもしれないんだ。

でも、何か課題とか制限はあるの？

そうだね、まだいくつかの課題が残っているし、今後の研究ではその改善が必要だと思う。特に、より複雑な問題に対する適用が課題だね。

智也くん、私もrStarを使って推論を強化したいな！

それはいいけど、まずは自分の推論能力を強化した方がいいかもね。

要点

rStarという手法を提案し、小型言語モデル（SLM）の推論能力を向上させる。

rStarは自己対戦型の相互推論アプローチで、推論を生成と識別のプロセスに分ける。

ターゲットSLMが人間のような推論アクションを用いて高品質な推論経路を構築する。

別のSLMがその推論経路を検証し、相互に一致した経路が正しい可能性が高いとされる。

実験により、rStarが多様な推論問題を効果的に解決できることを示した。

特にGSM8Kデータセットでの精度が大幅に向上した。

参考論文: http://arxiv.org/abs/2408.06195v1

The post 小型モデルを強化する新しい手法、rStarの魅力！ first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この論文のタイトル、すごく面白そうだね！因果発見って何？

因果発見は、観察データから変数間の因果関係を推定することだよ。科学のいろんな分野で重要なタスクなんだ。

なるほど！でも、どうして小型言語モデル（SLM）が使われるの？

SLMは、1億パラメータ未満の言語モデルで、知識グラフを使ったプロンプト学習によって因果発見の能力を向上させることができるんだ。これが新しいアプローチなんだよ。

知識グラフって何？

知識グラフは、情報をノードとエッジで表現したもので、変数間の関係を視覚的に示すものだよ。これを使うことで、SLMがより良い推定をできるようになるんだ。

実験結果はどうだったの？

実験では、提案手法が従来の手法を上回る結果を示したんだ。特に、少ないデータでの学習でも効果的だったよ。

それってすごいね！将来的にはどんな応用が考えられるの？

因果関係を理解することで、医療や社会科学など、さまざまな分野での意思決定に役立つ可能性があるよ。

でも、何か課題はあるの？

そうだね、SLMはまだ限界があるし、より多くのデータや複雑な関係を扱うにはさらなる研究が必要だよ。

じゃあ、智也くんも小型モデルになって、もっと軽くなったらいいのに！

それは無理だよ、亜美さん。僕はもう少し重い方がいいんだから。

要点

因果発見は観察データから因果構造を推定することを目的とする。

小型言語モデル（SLM）は、知識グラフを用いたプロンプト学習によって因果発見の能力を向上させることができる。

提案された「KG構造をプロンプトとして使用する」アプローチは、知識グラフからの構造情報を統合し、SLMの能力を強化する。

実験結果は、提案手法が従来の手法を上回る効果を示し、SLMが大規模言語モデル（LLM）を超える可能性を示唆している。

参考論文: http://arxiv.org/abs/2407.18752v1

The post 小型言語モデルで因果発見を進化させる！ first appeared on 亜美と智也のAI論文解説.