たった7%のデータで天才に！？AIの『思考力』を爆上げする新手法

お、そこに目をつけたか。これはね、画像を見ながら論理的に考えるのが苦手だったオープンソースのAIを、一気に賢くするための研究だよ。

そうそう。今のAIって、文章だけなら得意だけど、図解入りの算数やパズルになると、急に間違えることが多かったんだ。それは、お手本になる『質の高いデータ』が足りなかったからなんだよね。

ただの画像じゃダメなんだ。どうやってその答えに辿り着いたかっていう『思考のプロセス』、つまりChain-of-Thought（CoT）が必要なんだよ。この論文では、めちゃくちゃ巨大で賢いモデルに、180万問もの問題の解き方を詳しく書かせて、それをデータセットにしたんだ。

物知りだな。そう、巨大なモデルの知恵を、小さなモデルに受け継がせる手法だね。この研究の面白いところは、ただデータを集めるだけじゃなくて、収集、蒸留、そして選別っていう3つのステップをシステム化したことなんだ。

そこがこの論文の肝だよ。実は、難しい問題や質の高いデータだけを厳選した『7%のデータ』だけで学習させても、全部使った時と同じくらい賢くなったんだ。これを『Less is more』現象って呼んでるよ。

亜美さんの場合は、その7%を選ぶセンスがないから無理だと思うけど。……で、結果として、この手法で作った4B（40億パラメータ）のモデルが、倍のサイズの8Bモデルに勝っちゃったんだ。さらに8Bモデルは、30Bクラスの巨大モデルに匹敵する性能を出したんだよ。

将来力的にはそうだね。STEM教育のサポートや、複雑な図面を読み取る仕事とか、応用範囲は広い。ただ、まだ課題もあって、画像の解像度を上げすぎても推論能力はそこまで上がらないとか、パズル系の問題はまだ伸び代があるみたいだ。

物理的に頭を貸しても意味ないだろ。大人しく自分で勉強しろ。