ああ、それはLLMを効率的に分散学習させるための新しい手法についての論文だよ。種っていうのは植物じゃなくて、乱数を作るための『シード値』のことだね。

そう。普通は中央に大きなサーバーを置いて管理するんだけど、それだとサーバーが故障したら終わりだし、通信も集中しちゃう。だから、参加者同士で直接データをやり取りして学習するのが分散学習なんだ。でも、LLMみたいにモデルが巨大だと、そのやり取りだけで通信回線がパンクしちゃうっていう課題があるんだよ。

そこで『零次最適化』っていう技術を使うんだ。普通は『勾配』っていう膨大なデータを送るんだけど、この手法では『モデルをちょっとだけランダムに動かして、結果が良くなったか悪くなったか』というスコアだけを計算する。この『ランダムな動き』を再現するための小さな『シード値』と、その結果の『スコア』だけを送ればいいようにしたんだよ。

鋭いね。そこがこの論文のもう一つの工夫なんだ。『SubCGE』っていう手法を使って、計算を特定の狭い範囲（低ランク部分空間）に限定することで、大量の情報をまとめて高速に処理できるようにしたんだよ。これで、参加者が増えても計算が追いつくようになったんだ。

10億パラメータのモデルを128台のデバイスで学習させた実験では、従来のやり方より通信量を100万分の1くらいに減らしつつ、精度もバッチリ維持できたみたいだよ。通信が遅い環境でも、これならLLMを学習できる可能性があるね。

スマホ1台じゃ無理だけど、世界中のスマホを繋いで学習させる、なんて未来は来るかもしれないね。ただ、まだ零次最適化特有の学習の遅さとか、セキュリティの課題はあるから、これからの研究次第かな。