TL;DR

K2-Horizonは0.9B〜375B-A23Bの6モデルを、重み・中間チェックポイント・データ・コードまで公開する取り組みです。36B-A4BはMoVAとsoftplusゲートで32B denseに近い性能を1/7のactive parametersで狙い、Unoは最大2.2倍のデコード高速化を報告しています。LLM運用では公開パイプラインを再現・検証に使える一方、評価は論文内ベンチマーク中心で、HLE/CritPtなど専門的科学推論には課題が残ります。

既存手法との違い

原論文は、375B-A23Bを同時期のオープンウェイトモデル4つ(GLM-5.2、MiniMax M3、Nemotron 3 Ultra、Inkling)と比較し、多くのエージェント・コーディング系ベンチマークで1位または2位と報告しています。Toolathlon-Verifiedは65.3で4モデルを上回り、SWE-Atlas-QnAは48.4、τ3-BankingではGPT-5.6系2種を上回る一方、HLEとCritPtでは差があるとしています。36B-A4Bは同一データで訓練した自社32B denseと全ベンチマークで同等または数ポイント以内、active parametersは約1/7と報告されています。7Bは同規模オープンモデルを多くのベンチマークで上回り、7Bと3.7BはSWE-bench Verifiedで大きな差をつけるとされています。Unoは別のdraft modelなしで最大2.2倍のデコード高速化を報告しています。RAG固有の比較は提示本文からは確認できません。

使える条件

対象は0.9B denseから375B-A23B MoEまでの6モデルで、0.9Bはスマートフォン等のメモリ制約環境、3.7B/7Bはコンシューマ機器上のローカルアシスタントやコーディング、32B/36B-A4Bはセルフホスト型の技術・エージェント支援、375B-A23BはマルチGPUサーバ展開を想定しています。訓練・評価にはxLLM、RL360、Eval360が使われ、4モデルは同一の22Tトークンコーパスとレシピを共有します。約10Tの合成事前学習トークン、32k→128k→512kのコンテキスト拡張、FP8/NVFP4/GGUF/MLX等の量子化版が示されています。ライセンスはモデルとデータセットがApache 2.0、TxT360-v2のみCC BY 4.0です。具体的な推論スループットやRAG構成での挙動は提示本文からは確認できません。

限界と未検証の範囲

375B-A23Bは専門的科学推論(HLE、CritPt)に課題が残ると原論文が述べています。比較は同時期のオープンウェイトモデル4つと自社モデルが中心で、RAG、日本語性能、長時間運用の安定性、特定のツール環境での再現性は提示本文からは確認できません。Unoの最大2.2倍という値の測定条件や全モデルでの効果は抜粋から確認できません。36B-A4Bの「32B denseに近い」は同一データで訓練した自社32Bとの比較であり、一般の32Bモデル全体への一般化はできません。公開範囲はLLM360定義に沿うとされますが、提示本文では成果物の概要以上の詳細は確認できません。

図1: 提案手法の概要(本記事による図解)

K2-Horizonの6モデル群を中心に、4モデル共通の22Tコーパス、36B-A4BのMoVA/softplus、375B-A23BのRL専門家統合、Uno、全工程公開の関係を示した説明図で、訓練順や全ベンチマークは簡略化している。
K2-Horizonの6モデル群を中心に、4モデル共通の22Tコーパス、36B-A4BのMoVA/softplus、375B-A23BのRL専門家統合、Uno、全工程公開の関係を示した説明図で、訓練順や全ベンチマークは簡略化している。

解説

AMI NEUTRAL

ねえ智也、K2-Horizonって何? 6モデルを完全公開って、そんなにすごいの?

TOMOYA EXPLAINING

すごいっていうか、珍しい。普通は重みだけ公開して、データや中間チェックポイント、開発中の判断までは出さないことが多い。K2-Horizonは0.9Bから375B-A23Bまでの6モデルで、重み・中間チェックポイント・量子化版・訓練ログ・データ・コードまで公開する取り組み。

AMI THINKING

ふーん、モデルだけじゃなくて作り方も見える感じ?

TOMOYA EXPLAINING

そう。LLM360のオープンソース定義に沿って、事前学習から中間学習、事後学習、展開まで追えるようにしてる。再現や検証に使いやすいのが意義。

AMI THINKING

で、方法的に新しいのは?

TOMOYA EXPLAINING

36B-A4BでMoVAとsoftplusゲートを使ってる。MoVAはattentionのvalue projectionにMoEを入れる考え方で、softplusゲートはもっと柔軟なゲート。同じデータで訓練した自社32B denseとほぼ同等か数ポイント以内を、active parameters約1/7で狙ってる。

AMI SURPRISED

1/7で近いなら効率いいじゃん。

TOMOYA EXPLAINING

ただし「32B denseに近い」は同一データの自社32Bとの比較ね。一般の32Bモデル全部に言える話ではない。

AMI UNDERSTOOD

あ、そこ大事。Unoってのも出てたよね?

TOMOYA EXPLAINING

Unoはlossless diffusion adapterで、別のdraft modelなしで最大2.2倍デコードを速くする報告。でも抜粋だと測定条件や全モデルでの効果までは確認できない。

AMI THINKING

なるほど。評価はどう比較してるの?

TOMOYA EXPLAINING

375B-A23Bは同時期のオープンウェイト4モデル、GLM-5.2、MiniMax M3、Nemotron 3 Ultra、Inklingと比較。総パラメータもactiveも小さめなのに、エージェント・コーディング系で1位か2位が多い。Toolathlon-Verifiedは65.3、SWE-Atlas-QnAは48.4、τ3-BankingではGPT-5.6系2種を上回る。ただHLEとCritPtは課題。

AMI SAD

科学の専門推論はまだ苦手ってこと?

TOMOYA EXPLAINING

原論文がそう書いてる。あと比較はその4モデルと自社モデル中心。RAG、日本語性能、長時間運用の安定性、特定ツール環境での再現性は提示された本文からは確認できない。

AMI SURPRISED

データ公開も大きい?

TOMOYA EXPLAINING

大きい。4モデルは同じ22Tトークンコーパスとレシピを共有して、約10Tが合成事前学習トークン。スケールやdense/sparseの比較を制御しやすい。LLM運用では公開パイプラインを再現・検証に使える一方、評価は論文内ベンチマーク中心って整理になる。

AMI THINKING

どんな使い分けが想定されてるの?

TOMOYA EXPLAINING

0.9Bはスマホみたいなメモリ制約環境、3.7B/7Bはコンシューマ機器のローカル、32B/36B-A4Bはセルフホスト、375B-A23BはマルチGPUサーバ。モデルとデータはApache 2.0で、TxT360-v2だけCC BY 4.0。

AMI SMILE

なるほどね。じゃあ私のレポートもK2-Horizon並みに完全公開したら単位もらえるかな?

TOMOYA NEUTRAL

まず中間チェックポイントを出せるほど書いてから言って。