……残念ながら食べ物の話じゃないよ。AIの学習をさらに効率化するための研究だ。亜美さん、LoRAについては前に教えたよね？

正解。でも、最近のAIは巨大すぎて、LoRAを使ってもまだ計算が大変なんだ。そこでこの論文は、「そもそも全部の層にLoRAを適用する必要ある？」って疑問を投げかけているんだよ。

僕の勘なわけないだろ。この論文では『CKA』っていう類似度を測る指標を使っているんだ。層に入る前のデータと、出た後のデータを比べて、どれくらい変化したかを計算するんだよ。

そう。入り口と出口でデータが大きく変わっている層は、そのタスクのために一生懸命「加工」をしている『働き者の層』だと言える。逆に変化が少ない層は、そのタスクにはあまり貢献していない可能性があるんだ。

表現は独特だけど、その通り。実験では、働き者の層を半分だけ選んで学習させたら、パラメータを50%も減らせたんだ。しかも、数学やプログラミングのテストでは、全部の層を学習させるより成績が良くなることさえあったらしい。

余計な層をいじらないことで、元々持っていた知識が壊れにくくなったのかもしれないね。この手法は画像とテキストを両方扱うマルチモーダルモデルでも上手くいったみたいだよ。

学習のコストが下がるから、個人や小さな研究室でも高度なカスタマイズができるようになる可能性はあるね。ただ、どの層を選ぶのがベストかはタスクごとに違うから、そこを自動で完璧に判断するのが今後の課題かな。

……亜美さんの場合は、全層フルファインチューニングしてもバグが取りきれないと思うよ。