TL;DR

基盤モデルの事前学習・中間学習・SFT・RLを、データの混合比率を変える単一の最尤学習として扱う枠組み。RLも成功例への尤度フィッティングと見なし、同一の重み付き損失と共有バッファで静的データと生成データを混ぜる。段階訓練より同一計算で精度・カバレッジ改善などを報告するが、評価範囲と一般化には制約がある。

既存手法との違い

既存の段階訓練（事前学習→中間学習→SFT→RL）と比較している。段階訓練では各段階でデータと学習アルゴリズムが異なるとされるが、統一学習は同じ最尤学習のまま、静的データとRL生成データの混合比率・スケジュールを変える。段階訓練は全重みを一つのデータ源に置く特殊ケースと位置づけられる。RLの段階ベースラインは原則MaxRLで、制御設定と実世界の中間学習データを用い、同一総計算予算の比較を含む。PPOやGRPOは準備で言及されるが、本比較の詳細は提示本文からは確認できない。

使える条件

基盤モデル訓練で、静的コーパス・デモンストレーションと報酬付きの生成データを扱う場面が対象。二値報酬を中心に定式化し、連続報酬はTailRL等で拡張される。実装には、トークン重み付きの共通データ形式、重み付き交差エントロピー、静的データとRL生成データを保持する共有バッファ、非同期の生成器とトレーナー、定期的な重み同期が必要とされる。評価は制御設定と実世界の中間学習データで行われているが、計算資源規模やデータ詳細は提示本文からは確認できない。

限界と未検証の範囲

提示本文から確認できる範囲では、評価は制御設定と実世界の中間学習データを用いた実験に限られ、データ規模・計算資源・全数値の詳細は本文からは確認できない。二値報酬を中心に定式化し、連続報酬や他のRL目的関数は拡張・予備解析として言及されるが、広範な比較は確認できない。非同期生成のモデル鮮度やスループットは付録参照で、本文中の詳細は限られる。より大規模なモデル、他ドメイン、長期の継続学習への一般化は本稿だけでは確定できない。

解説

ねえ智也くん、基盤モデルの訓練って普通は事前学習→中間学習→SFT→RLって段階に分けてやるじゃん。なんでそれを一つの学習にまとめられるの？

論文の出発点は、その段階の分かれ方って本質じゃないんじゃないか、って話だ。どの段階も、結局は「どのデータに、どれくらいの重みで、いつ当てるか」が違うだけで、学習則自体は同じ最尤学習にできる、という見方をする。

え、RLは普通に方策最適化でしょ？ それも最尤学習に入るの？

うん。論文では、適切なRL目的関数をモデル生成の目標分布への最尤フィッティングとして導ける、と示してる。二値報酬なら、成功した生成の分布に尤度を合わせる形になる。MaxRLの拡張として説明してる。

成功した例に寄せる、ってことか。じゃあ事前学習のテキストも、SFTのデモも、RLの成功生成も、同じ損失で混ぜられるんだ。

そう。各データ源にプロンプト分布と目標分布があって、混合重みλを決めて一つの分布qを作る。そのqに対して同じ尤度損失をかける。重み付き損失と共有バッファで、静的データとRL生成を同じトレーナーに流す実装になってる。

段階訓練は、その混合重みを一つの源に全部置く特殊ケースってこと？

その通り。従来の段階訓練は、段階ごとにデータ源の比率が急に切り替わる特別な場合として位置づけられる。統一学習は、その比率を連続的に変えたり重ねたりできる。

実装的には、何が共通になるの？

論文では、各例をトークン列とトークンごとの重みの組にする。事前学習と中間学習は本文トークンに単位重み、SFTはプロンプトをマスク、RLは応答トークンに報酬から計算した重みAを付ける。全部、重み付き交差エントロピーで扱える。

RLの重みAはどう決めるの？

二値報酬なら、プロンプトごとにN個サンプルして合格率p̂を推定し、正解応答に1/p̂を付ける。不正解は0。これはMaxRLの有限サンプル版で、全部不正解なら更新はゼロになる。

生成と学習は同時に進むの？

非同期で進む。生成器が最近の重みコピーで応答を作って共有バッファに追加し、トレーナーが静的データと一緒にサンプルして更新する。重みは定期的に同期する。

評価はどうやってるの？ 段階訓練と比べるんだよね。

比較対象は従来の段階訓練で、RLは原則MaxRLをベースラインにしてる。制御設定と実世界の中間学習データで、同一総計算予算の比較も含めて、精度とカバレッジのトレードオフ改善を報告してる。広い能力の保持や継続学習の起点としても良い、という結果。

へえ、同じ計算で精度もカバレッジも良くなる可能性があるんだ。すごいじゃん。

ただし論文の報告としてね。僕の解釈では、意義は「段階を固定したレシピ」から「データの混合とタイミングを設計する問題」に視点を移したことだと思う。訓練全体を一つの科学として見る土台を作ってる。

じゃあ何でも統一すればいいの？

そこは制約がある。論文は二値報酬を中心に定式化して、連続報酬はTailRLなどで拡張してる。他のRL目的関数も予備解析の範囲。評価も制御設定と実世界の中間学習データに限られる。

大規模モデルとか別ドメインでも同じかは、まだ分からないってこと？

提示された本文から確認できる範囲では、データ規模や計算資源の詳細も限られてるし、より大規模なモデル、他ドメイン、長期の継続学習への一般化は確定できない。あとPPOやGRPOは準備で触れられるけど、この比較の詳細は本文からは確認できない。

なるほどね。段階をバラバラに改善するより、データの混ぜ方とスケジュールをまとめて考える方が筋がいい、って話か。

そう。学習アルゴリズムは固定して、何をどの比率でいつ与えるかを設計する。その意味で、統一学習は訓練 trajectories を科学するための枠組みになってる。

つまり、私の勉強も成功例だけをいい感じの比率で混ぜれば最強になれるってこと？

成功例が足りない。

The post 基盤モデルの事前学習からRLまでを単一の尤度学習に統合する訓練法 first appeared on 亜美と智也のAI論文解説.

TL;DR

xHCは、Transformerの残差ストリームを従来の4並列から16並列に拡張し、学習損失と下流性能を改善する手法です。時間的特徴拡張とスパースな残差更新により、計算コストの増加を抑えながら、大規模言語モデルの事前学習を効率化します。

解説

ねえ智也くん、このxHCって論文、読んでみたんだけどさ、残差ストリームを16並列に拡張ってどういうこと？

ああ、普通のTransformerって残差ストリームが4つしかなかったんだよね。それを16に増やして、学習効率を上げようって手法だよ。

へー、でも単純に増やすと計算コストがヤバそうじゃない？

そこが工夫で、時間的特徴拡張とスパースな残差更新を組み合わせてる。全部のストリームを毎回更新するんじゃなくて、必要なときだけ更新するから、計算量の増加を抑えられるんだ。

なるほどね。で、実際どれくらい良くなったの？

学習損失が下がって、下流タスクの性能も改善したって報告がある。特に大規模言語モデルの事前学習で効果が高いみたい。

それってすごくない？でも何か欠点とかあるの？

うん、まだ実験が限られてて、モデルサイズやタスクの種類によっては効果が薄い可能性がある。あと、スパースな更新のパターンが最適かどうかも検討の余地があるね。

ふーん、でもこれが普及したら、AIの進化がもっと速くなりそうだね。まるで残差ストリームが増えたおかげで、AIがマルチタスクをこなすみたいな？

その例えはちょっと違うけど…まあ、面白い発想ではあるね。

The post xHC：残差ストリームを16並列に拡張し、学習効率を向上させる手法 first appeared on 亜美と智也のAI論文解説.

TL;DR

UltraXは、大規模な事前学習コーパス向けに、挿入・削除・修正の3操作を組み合わせた関数呼び出し方式でデータを精製するフレームワーク。軽量モデルで高品質な編集を実現し、従来手法より2%以上の性能向上を達成。

解説

ねえ智也くん、このUltraXって論文、タイトルからしてすごそうだけど、何が新しいの？

うん、要は大規模なテキストデータをきれいにするフレームワークだよ。従来はルールベースか重いモデルでやってたんだけど、UltraXは軽量モデルで挿入・削除・修正の3つの関数呼び出しを組み合わせて編集するんだ。

関数呼び出し？それってどういうこと？

例えば、文が不完全だったら「挿入」関数で単語を補う、ノイズがあったら「削除」関数で消す、誤りがあったら「修正」関数で直す、みたいな感じ。それぞれの操作を小さなモデルに任せて、全体として高品質なデータ精製を実現してる。

なるほど！それで軽量モデルでもちゃんと動くんだ。でも、従来手法より2%も性能上がったって本当？

うん、実験では複数のベンチマークで確認されてる。特に、データの品質が重要な下流タスクで顕著な差が出てたよ。

すごいね！でも、どんなデータでもうまくいくわけじゃないんでしょ？限界とかあるの？

そうだね。論文では、ドメインが特殊だったり、ノイズの種類が想定外だと精度が落ちるって指摘されてる。あと、関数の呼び出し順序に依存する部分もあるみたい。

ふーん…でも、これって実用化されたら、データ準備の手間がめっちゃ減りそう！私の卒論にも使いたいな〜。

軽量モデルだから、研究室のGPUでも動かせると思うよ。興味あったらコードも公開されてるし。

やった！じゃあ今度一緒に動かしてみようよ。…って、智也くんが関数呼び出しで私のデータも精製してくれたりしない？

それは「修正」関数じゃなくて「丸投げ」関数だな。自分でやれよ。

The post 大規模コーパス向けデータ精製フレームワーク「UltraX」：関数呼び出しで高品質・高効率を両立 first appeared on 亜美と智也のAI論文解説.

解説

ねえ智也くん、この『FineInstructions』っていう論文、タイトルがかっこいいね！「究極の指示」って感じ？

究極っていうか、AIの「勉強のやり方」を根本から変えようっていう研究だよ。亜美は、今のAIがどうやって最初の勉強をしてるか知ってる？

えーっと、インターネットの文章をたくさん読んで、次の言葉を予想する練習をしてるんだよね？

正解。それを「事前学習」って呼ぶんだけど、実はそれだと効率が悪いんだ。人間がAIを使う時は「質問に答えて」って頼むのに、AIは「次の単語を当てる」練習ばかりしてるからね。

あ、そっか！本番はテストなのに、練習では教科書の書き写ししかしてないみたいな感じ？

いい例えだね。だからこの論文では、事前学習の段階から「質問と回答」のセットで勉強させようって提案してるんだ。そのために、10億個もの「宿題」を自動で作ったんだよ。

10億個！？そんなにたくさんの宿題、どうやって作ったの？人間が書いたら一生終わらないよ！

そこで「合成データ」の出番だ。まず、実際のユーザーが書いた1800万件の質問を「テンプレート」にしたんだ。例えば『AとB、どっちが頑丈？』みたいな型を作るんだよ。

テンプレート……穴埋め問題の「枠」を作るってことかな？

そう。その枠に、Web上の膨大な文書から見つけてきた情報を当てはめるんだ。例えば、あるブログにApple WatchとGarminの比較が書いてあったら、それを枠にハメて『Apple WatchとGarmin、どっちが頑丈？』っていう具体的な質問を作る。

なるほど！でも、長い文章のどこに答えがあるか探すのって大変じゃない？

鋭いね。そこで「ガウスプーリング」っていう技術を使っている。これは、長い文章をいくつかの塊に分けて、それぞれの場所がどんな内容かを賢く見分ける手法なんだ。これで、質問にぴったりの情報を文書の中から探し出せるようになる。

ガウス……なんだか強そうな名前！それで、その10億個の宿題で勉強したAIは、本当に賢くなったの？

実験の結果、普通のやり方で学習したモデルよりも、ユーザーの質問に答える能力が大幅に上がったんだ。特に、自由な形式で回答するテストでは、他の最新の手法よりも良い成績を出したんだよ。

すごい！最初から「誰かの役に立つ」練習をしてるから、本番に強いんだね。

その通り。この研究の意義は、今まで「ただのテキスト」として捨てられていたWebの情報を、価値のある「教育用データ」に変換できることを示した点にあるんだ。

これからは、AIの勉強も「量より質」の時代になるのかな？

そうだね。ただ、課題もある。合成データを作る時に使った「先生役のAI」の癖が移っちゃう可能性とか、まだ改善の余地はあるんだ。今後はもっと多様で、間違いのないデータを作る研究が進むだろうね。

よーし、私も智也くん専用のテンプレートを作っちゃおうかな！『<食べ物>を買ってきて』とか、『<課題>を代わりにやって』とか！

それはただのパシリだろ。自分の課題くらい自分でやれ。

要点

• LLMの事前学習を、従来の「次の単語を予測する」形式ではなく、最初から「指示に対する回答」という形式で行う手法を提案した。
• 1800万件の実際のユーザーの質問を汎用的なテンプレートに変換し、それを膨大なWeb文書と組み合わせることで、10億件以上の高品質な「指示と回答」のペア（FineInstructions）を作成した。
• 文書のどの部分が質問に関連しているかを正確に特定するために、ガウスプーリングという特殊な技術を用いた埋め込みモデルを開発した。
• この合成データのみを使ってゼロから学習したモデルは、従来の事前学習を行ったモデルよりも、自由形式の回答の質を測るベンチマークで高い性能を示した。
• 事前学習の段階からユーザーの利用目的に近い形式で学習させることで、学習の効率化と性能向上を両立できることを証明した。

The post AIの勉強法が激変！？10億個の「宿題」で賢くなる新技術 first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この論文のタイトル、すごく面白そうだね！内容を教えてくれない？

もちろん。これは大規模言語モデルを統合する方法についての論文なんだ。特に、ファインチューニングされたモデルと事前学習されたモデルをどうやってうまく統合するかに焦点を当てているよ。

ファインチューニングと事前学習って何が違うの？

ファインチューニングは、特定のタスクに合わせてモデルを調整することを指すんだ。一方、事前学習は、広範なデータでモデルを最初に訓練することを意味する。だから、事前学習されたモデルは、より多様な知識を持っていることが多いんだ。

なるほど！でも、どうして統合するのが難しいの？

従来の手法では、モデルの重要性を手動で決める必要があって、ファインチューニングされたモデル同士はうまくいくけど、事前学習されたモデルとの統合は難しいんだ。パラメータの変化の範囲が異なるからね。

それで、WIDENっていう新しい方法はどうやって解決するの？

WIDENは、モデルの重みを大きさと方向に分けて、それぞれの寄与を考慮して統合するんだ。これにより、異なるモデルの能力をうまく融合できるようになる。

実験ではどんな結果が出たの？

実験では、Qwen1.5-Chatというファインチューニングされたモデルと、Sailorという事前学習されたモデルを統合したんだ。従来の手法ではSailorを統合すると能力を失うことが多かったけど、WIDENを使うことでSailorの多言語能力を保持できたんだ。

すごい！それって将来どんな応用が考えられるの？

この手法を使えば、異なる言語やタスクに特化したモデルを統合して、より強力なモデルを作ることができる。例えば、特定の地域の言語に特化したアプリケーションなどが考えられるね。

でも、何か課題はあるの？

そうだね、まだ完全に解決されていない課題もある。特に、モデルのサイズや計算リソースの問題があるから、今後の研究が必要だね。

じゃあ、智也くんもWIDENを使って、私の頭の中の情報を統合してくれない？

それは無理だね。君の頭の中は、統合するにはあまりにも多様すぎるから。

要点

複数の大規模言語モデル（LLM）を統合することが目的で、特にファインチューニング（FT）されたモデルと事前学習（PT）されたモデルの統合に焦点を当てている。

従来の手法は、モデルの重要性を手動で割り当てるため、FTモデル同士の統合には適しているが、PTモデルとの統合には課題がある。

新しい手法であるWeIght DisENtanglement（WIDEN）を提案し、モデルの重みを大きさと方向の成分に分解し、それぞれの寄与を考慮して適応的に融合する。

実験では、Qwen1.5-Chat（FTモデル）とSailor（PTモデル）を統合し、Sailorの多言語能力をQwen1.5-Chatに注入することに成功した。

結果として、従来の手法ではSailorを統合する際に能力を失うことが多かったが、WIDENを用いることでSailorの多言語能力を保持し、特に東南アジアの言語において性能が向上した。

参考論文: http://arxiv.org/abs/2408.03092v1

The post 大規模言語モデルの統合：新しい手法WIDENの可能性 first appeared on 亜美と智也のAI論文解説.

ねえ智也、この「Tele-FLM技術報告書」って何？すごく興味深いタイトルだね！

ああ、これは大規模言語モデルについての研究だよ。具体的には、52ビリオンパラメータを持つ多言語モデル、Tele-FLMについて詳しく説明しているんだ。

へえ、大規模言語モデルって何？

大規模言語モデルは、膨大なデータを使って言語の理解や生成を行うAIの一種だよ。このモデルは特に多言語に対応していて、効率的な学習方法で高い性能を実現しているんだ。

それで、このモデルの評価はどうなの？

Tele-FLMは、英語と中国語での評価でも、より多くの計算を必要とする他のモデルと同等か、それ以上の性能を示しているんだ。

未来の応用可能性についてはどう思う？

このモデルの開発により、多言語対応のAI技術がさらに進化するだろうね。ただ、まだ解決すべき課題も多いから、研究はこれからも続くよ。

ふーん、じゃあ、AIもいろんな言語を話せるようになるのかな？

その通りだよ。そして、それが私たちの生活にどんな影響を与えるかも、これからの大きなテーマだね。

AIが私の宿題もやってくれたらいいのになあ！

それはちょっと違う使い方かもしれないね（笑）。

要点

このレポートでは、52Bのオープンソース多言語大規模言語モデルであるTele-FLM（FLM-2とも呼ばれる）を紹介しています。

Tele-FLMは、安定して効率的な事前学習パラダイムと向上した事実判断能力を特徴としています。

このモデルは、テキストコーパスにおける多言語言語モデリング能力が優れており、BPBで測定されています。

英語と中国語の基礎モデル評価では、より大きな事前学習FLOPsを伴う強力なオープンソースモデルと比較しても遜色ありません。

モデルの重みだけでなく、コアデザイン、エンジニアリングプラクティス、トレーニングの詳細も共有されており、学術界と産業界の双方に利益をもたらすことが期待されています。

参考論文: http://arxiv.org/abs/2404.16645v1

The post Tele-FLM技術報告書についての対話 first appeared on 亜美と智也のAI論文解説.

ねえ智也、この「MuPT: A Generative Symbolic Music Pretrained Transformer」って論文、何についてなの？

ああ、これは音楽の事前学習に大規模言語モデルを適用することを探求した研究だよ。特に、ABC記譜法という音楽の記譜法がLLMsと相性がいいことを見つけたんだ。

ABC記譜法って何？

ABC記譜法は、音楽をテキスト形式で表現する方法の一つで、特にフォーク音楽や伝統音楽によく使われるんだ。

へえ、じゃあどうやってそれを使ってるの？

この論文では、複数のトラックが同期しているABC記譜法を提案していて、音楽の一貫性を保ちながら生成することができるんだ。

それで、結果はどうだったの？

非常に有望で、音楽生成のための新しい方向性を示しているよ。さらに、オープンソースで研究コミュニティに貢献しているから、多くの人がこの技術を使って新しいことができるんだ。

わあ、すごいね！音楽のロボットが作曲家になっちゃう日も近いかもね！

まあ、そうなるかもしれないね。でも、まだ解決すべき課題も多いから、研究はこれからが本番だよ。

要点

この論文では、音楽の事前学習に大規模言語モデル（LLMs）を適用することを探求しています。

MIDIの使用が一般的ですが、ABC記譜法がLLMsの設計と強みにより密接に合致していることがわかりました。

異なるトラックからの不整合な小節を解決するために、同期マルチトラックABC記譜法（SMT-ABC記譜法）を提案します。

8192トークンまで扱えるモデルのシリーズを開発し、訓練セットの90%の象徴的音楽データをカバーしています。

シンボリックミュージックスケーリング法則（SMS法則）のモデル性能への影響を探りました。

音楽生成の将来の研究に有望な方向を示しており、コミュニティ主導の研究に広範なリソースを提供しています。

参考論文: http://arxiv.org/abs/2404.06393v1

The post MuPT: 音楽生成のための事前学習トランスフォーマー first appeared on 亜美と智也のAI論文解説.