スマホで動く天才AI！？軽量モデルの常識を覆す『Youtu-LLM』の凄さ

いや、名前は似てるけど関係ないよ。これはTencentのYoutu Labが開発した、すごく賢くてコンパクトなAIモデルについての報告書だね。

例えは悪くないね。普通、AIを賢くしようとするとサイズが巨大になっちゃうんだけど、これは約20億パラメータっていう、スマホでも動かせそうなサイズで驚くほどの性能を出してるんだ。特に『エージェント能力』がすごいんだよ。

スパイじゃないって。AIにおけるエージェント能力っていうのは、ただ質問に答えるだけじゃなくて、自分で計画を立てて、道具を使いこなして、失敗したら反省してやり直す、っていう『自律的な行動力』のことだよ。

秘密は3つある。1つ目は『MLA』っていう効率的な仕組みを使っていること。これで、128k……つまり本数冊分くらいの長い文章を一度に読み込んでも、メモリを全然食わないんだ。

2つ目は学習の順番だ。11兆トークンっていう途方もない量のデータを使ってるんだけど、最初は『常識』、次に『理系知識（STEM）』、最後に『エージェントとしての動き方』っていう風に、段階的に教育してるんだよ。

その通り。そして3つ目が一番重要で、『Agentic-CoT』っていう独自の考え方を叩き込んでるんだ。問題を解くときに、いきなり答えを出さずに『分析・計画・実行・内省・要約』の5つのステップを必ず踏むように訓練されてるんだよ。

……まあ、ニュアンスは近いかな。自分の出した答えが正しいかチェックして、矛盾があれば修正するプロセスだね。このおかげで、数学やプログラミングみたいな複雑な問題でもミスが激減するんだ。

色んなテストをしてるよ。同じくらいのサイズのモデルの中では世界トップクラスの成績だし、エージェント能力に関しては、もっとずっと巨大なモデルに勝っちゃうこともあるんだ。図1を見ればわかるけど、コスパが異常に高いんだよ。

このモデルの意義は、高性能なAIを動かすのに巨大なサーバーがいらなくなることだね。スマホやパソコンの中で、自分専用の超優秀な秘書がサクサク動く未来が見えてくる。複雑な調べ物や仕事の段取りを全部任せられるようになるかもね。

もちろんあるよ。まだ20億パラメータだから、知識の絶対量では超巨大モデルには勝てないし、もっと複雑なマルチステップのタスクでは限界が来ることもある。これからは、このエージェント能力をどうやってさらにスケールアップさせるかが研究の焦点になるだろうね。