TL;DREMBL AI LI…
TL;DR
LLMを「受け身のアシスタント」から「能動的に質問するソクラテス的対話者」へ書き換える実験。405ジョブの大規模探索により、LoRAランク16・学習率2e-4・2〜3エポックが最適と判明。14BモデルでPPL 1.414を達成し、DPOにより言語をまたいだ行動転移も確認。ただし、形態的に遠い言語では性能劣化が見られた。
解説
ねえ智也くん、このブログのタイトル見たんだけど、『LoRAランク16と2〜3エポックが鍵』って、なんだか料理のレシピみたいだね。LLMの行動を書き換えるってどういうこと？
ああ、これはね、普通のLLMはユーザーが質問するのを待ってるだけの受け身なんだ。でも、この研究では、モデルが自分から質問してくるような能動的な対話者に変える実験をしてるんだよ。
へえ、自分から質問してくるって、まるでソクラテスみたいだね。でも、どうやってそんな風に変えるの？
LoRAっていう軽量な学習手法を使って、モデルの一部だけを調整するんだ。この研究では、405ジョブっていう大量の実験をして、最適な設定を探したんだよ。
405ジョブも！すごい数だね。それで、どんな設定が一番良かったの？
LoRAランク16、学習率2e-4、そして2〜3エポックが最適だったんだ。ランクが高すぎたり低すぎたりすると、うまくいかないみたい。
なるほど、ちょうどいい塩梅ってことか。で、実際にどれくらい性能が良くなったの？
14BモデルでPPL（パープレキシティ）が1.414を達成したんだ。PPLが低いほど、モデルの予測が正確ってことだから、かなり良い結果だよ。
PPLって何だっけ？ちょっと忘れちゃった。
簡単に言うと、モデルが次に来る単語をどれだけうまく予測できるかの指標だよ。低いほど良いんだ。
ああ、思い出した。それで、この研究のすごいところは、言語をまたいで行動が転移するってこと？
そう、DPOっていう手法を使って、英語で学習した行動が他の言語にも転移することを確認したんだ。でも、形態的に遠い言語、例えば日本語と英語みたいに構造が大きく違う言語では、性能が落ちることもわかった。
なるほど、言語によってはうまくいかないこともあるんだね。でも、この研究の意義って何だと思う？
LLMを単なる応答マシンじゃなくて、能動的に学びを促すような存在にできるってことだよ。教育とかカウンセリングとかに応用できるかもしれない。
へえ、それって面白いね。でも、まだ課題もあるんでしょ？
うん、形態的に遠い言語での性能劣化が課題だね。あと、今回の実験は特定のモデルサイズでしか試してないから、もっと大きなモデルでも確認が必要だと思う。
なるほどね。でも、ソクラテスみたいなAIがいたら、勉強が楽しくなりそうだなあ。でも、私が質問ばかりされて、逆に答えられなかったらどうしよう（笑）
その時は、AIがちゃんと教えてくれるよ。でも、君が答えられないと、AIも困るかもしれないけどね。