要点テキストから画像を生成する…
解説
ねえねえ、智也くん！これ、面白そうな論文のタイトル見つけたんだけど…『Does Less Hallucination Mean Less Creativity?』…幻覚が少ないと創造性も低くなるってこと？
ああ、その論文か。確かに面白い研究だよ。簡単に言うと、AIの「幻覚」、つまり間違ったことを言っちゃう問題を減らそうとする方法が、逆にAIの「創造性」にどんな影響を与えるかを調べたんだ。
え、幻覚を減らすのはいいことじゃないの？創造性が下がっちゃうの？
それが一概にそうとは言えないんだ。この研究の面白いところはね、創造性を二つに分けて考えているところ。一つは「収束的思考」で、正しい答えを一つに絞り込む力。もう一つは「発散的思考」で、いろんなアイデアをバラバラに生み出す力。
ふーん、なるほど。で、幻覚を減らす方法ってどんなのがあるの？
主に三つ調べられている。一つ目は「CoVe（Chain of Verification）」。これはAI自身に、まず答えを出させて、それについて検証する質問を考えさせ、その答えを元に最終的な答えを修正させる方法だ。
自分で自分の答えをチェックするみたいな感じ？
そう。二つ目は「DoLa（Decoding by Contrasting Layers）」。これはAIの内部の、浅い層と深い層の出力を比べて、深い層で学習された確かな情報だけを強調して答えを出す方法。三つ目は「RAG（Retrieval-Augmented Generation）」。これは外部の資料を検索してきて、それに基づいて答えを生成する方法だ。
へえ、いろいろあるんだね。で、実験はどうやったの？
主に二つの課題で評価した。一つは「NeoCoder」っていう、制約条件がどんどん増えていくプログラミング問題。もう一つは「CS4」っていう、制約条件をたくさん満たす物語を生成する課題だ。これで発散的創造性を測った。
結果はどうだったの？やっぱり幻覚を減らすと創造性も下がっちゃった？
それが、一番驚きの結果だったんだ。手法によって全く逆の効果が出た。CoVeを使うと、発散的創造性が「向上」した。DoLaを使うと「低下」した。RAGはほとんど影響がなかった。収束的思考、つまり正しさはどの手法でもあまり変わらなかった。
ええっ！？同じ「幻覚を減らす」って目的なのに、創造性への影響が真逆なの？なんで？
論文の考察によると、CoVeは自分に質問をさせるプロセスが、考えられる選択肢を広げる「探索」を促すからじゃないかって。一方でDoLaは、内部の確かな情報だけに集中させるから、逆に発想が狭まっちゃう可能性がある。RAGは外部情報に依存するから、モデル自体の創造性には直接影響しにくいんだろう。
すごい！ってことは、AIに何かをやらせるとき、ただ「幻覚を減らせ」って言うんじゃダメで、その方法まで考えなきゃいけないってこと？
その通り。例えば、科学的な発見をAIに手伝わせたいときは、事実は正確だけど（幻覚が少ない）、かつ新しい仮説をどんどん考えられる（発散的創造性が高い）のが理想だよね。この研究は、そういう時にはCoVeが向いているかもしれない、って示唆している。逆に、絶対に間違っちゃいけない事実だけを答えさせたい時はDoLaが有効かもしれない。
なるほどー。でも、この研究にも限界とかあるんでしょ？
うん。評価した創造性のタスクがプログラミングと物語生成に限られているから、他の種類の創造性、例えばアートや音楽とかではまた違う結果になるかもしれない。あと、もっと多くの幻覚低減手法を試す必要もある。将来的には、タスクに応じて自動的に最適な手法を選んだり、手法を組み合わせたりする研究が進むだろうね。
ふむふむ…。じゃあ、私がAIに『面白いデートプランを考えて！』ってお願いするときは、CoVeモードでやらせたほうが、バラエティに富んだ奇抜なプランがもらえるってこと？
…理論上はそうなるかもしれないけど、まずは自分で考えたほうが早いんじゃない？それに、AIが幻覚で『空飛ぶ車で月に行く』とか提案しても困るだろ。
要点
大規模言語モデルには、事実と異なる内容を生成する「幻覚」という問題がある。
幻覚を減らすための手法（CoVe、DoLa、RAG）が、モデルの創造性にどのような影響を与えるかを調査した。
創造性は「収束的思考」（正しい答えを導く）と「発散的思考」（多様なアイデアを生み出す）に分けて評価した。
実験の結果、幻覚低減手法は発散的創造性に対して異なる影響を与えることがわかった。CoVeは発散的創造性を向上させ、DoLaは抑制し、RAGはほとんど影響を与えなかった。
この傾向は、LLaMA、Qwen、Mistralといった異なるモデルファミリーや、1Bから70Bまでの異なるモデルサイズでも一貫していた。
科学的発見など、事実の正確性と創造的な仮説生成のバランスが重要な分野では、幻覚低減手法の選択が重要であることを示唆している。