解説
ねえ智也、この論文のタイトル見て興味深いんだけど、「LLMは横断的思考ができるの？」って、どういう内容なの？
ああ、これはね、大規模言語モデルが、いわゆる箱の外で考える能力、つまり横断的思考ができるかどうかを評価するための研究だよ。
横断的思考って何？
横断的思考とは、既存の枠組みにとらわれずに、創造的に問題を解決する思考方法のことだよ。
へぇ〜、それで、どうやって調べたの？
研究チームは、異なるプロンプト方法を使ってLLMのパフォーマンスを向上させる方法を探求したんだ。具体的には、思考の連鎖や直接プロンプト、情報的な説明を加えたプロンプト、そして検索強化生成を使った文脈化プロンプトがあるよ。
実験結果はどうだったの？
実験では、情報的なプロンプトを圧縮することでパフォーマンスが向上し、動的な文脈学習がモデルのパフォーマンスを大幅に向上させることがわかったよ。
それって、どういう意味があるの？
これは、LLMが横断的思考を行う能力を持っていることを示していて、さらにこの能力を活用するための方法を提案しているんだ。将来的には、より複雑な問題解決や創造的なタスクにLLMを活用できる可能性があるよ。
でも、何か課題はあるの？
はい、この研究では特定のプロンプト方法やデータセットに依存している点が課題として挙げられているね。将来的には、より汎用的な方法や、多様なタスクでの適用を目指す必要があるよ。
なるほどね〜、LLMもいろいろ大変なんだね。でも、横断的思考ができるなら、クイズ番組に出てもいいかもね！
それは…また別の話だね。でも、面白いアイデアかもしれない。
要点
この論文は、大規模言語モデル（LLM）の横断的思考（箱の外で考える能力）を評価するベンチマークを作成し、異なるプロンプト方法がこのタスクのLLMのパフォーマンスをどのように向上させるかを調査しています。
横断的思考とは、創造性を活かし、既存の枠組みや原則にとらわれずに問題を解決する思考方法です。
研究チームは、SemEval-2024のタスク9、Sentence Puzzleサブタスクに参加し、思考の連鎖（CoT）と直接プロンプト、情報的な説明を加えたプロンプト、および検索強化生成（RAG）パイプラインを使用した文脈化プロンプトの方法を探求しました。
実験では、GPT-3.5、GPT-4、Zephyr-7B-βの3つのLLMを使用し、GPT-4を使用して謎と選択肢の間の思考パスのデータセットを生成し、人間による検証で品質を確認しました。
研究の結果、情報的なプロンプトを圧縮することでパフォーマンスが向上し、動的な文脈学習がモデルのパフォーマンスを大幅に向上させることが示されました。
さらに、Zephyrをこのデータセットでファインチューニングすることで、他の常識データセットにおけるパフォーマンスが向上し、革新的な思考の価値が強調されました。