TL;DR
ArchSpaceは、LLMのアーキテクチャ提案を実験・推論・失敗試行まで記録し、コミュニティが査読し、後続研究が参照できる公開基盤です。Phase Iで5つの計算予算のスケーリング則を比較し、Phase IIで1Bモデルを150B+10Bトークンで訓練して利得の持続と下流性能を確認します。Qwen3.5とOLMo3のベースライン、スケーリング則、訓練レシピを初期参照として提供します。
既存手法との違い
原論文はArchSpaceを既存プラットフォームと数値比較していません。代わりに、産業界の公開レポートが成功・破棄理由を残しにくい点と、学界評価が小規模・単一条件に偏りやすい点を課題として提示しています。比較の基準としてQwen3.5(Gated DeltaNet 3層+full attention 1層)とOLMo3(sliding-window attention 3層+full attention 1層)のベースラインラダーを用意し、同一データ・トークナイザ・検証データで比較します。Phase Iは5つの計算予算、Phase IIは1Bモデル・150B+10Bトークンで、既存手法との性能比較結果は提示本文から確認できません。
使える条件
アーキテクチャ変更案、ベースライン、検証計画を出せる研究コミュニティ向けです。提案とベースラインで同じ訓練データ・トークナイザ・検証データを使うことが前提で、Phase Iは1×10^18〜1×10^20 FLOPsの5予算、Setting 1〜3でハイパーパラメータ探索の範囲が変わります。Phase IIは1Bモデル、150B+10Bトークン、8Kから64K文脈、OLMES評価を用います。初期参照はQwen3.5/OLMo3のハイブリッド構成とDolma 3/OLMo3 tokenizerです。提示本文にない計算資源量や他アーキテクチャでの適用可否は未知です。
限界と未検証の範囲
提示本文はプラットフォーム提案と初期参照が中心で、ArchSpace自体の有効性(参加者数、査読品質、引用増加など)を評価した結果は確認できません。Phase IIは1Bモデル・特定トークン数・OLMES系評価に限られ、大規模モデルや他タスクへの一般化は未検証です。Phase Iのスケーリング則は外挿検証を行うものの、予測最適値と実測最適値はずれるため追加探索が必要とされています。コミュニティ査読の再現性・公平性、失敗試行の記録徹底、計算コストの負担は今後の課題として残ります。RAG固有の評価ではありません。
図1: 提案手法の概要(本記事による図解)
解説

ねえ智也くん、ArchSpaceって論文見た?LLMのアーキテクチャ研究を記録・レビュー・参照する公開基盤らしいけど、何が問題なの?

まず動機。産業界はDeepSeek、Qwen、Kimiみたいにアーキ変更を出すけど、公開レポートは何が成功して何が捨てられたか、理由までほぼ残らない。学界は計算資源が限られて小規模・単一条件の比較になりがち。だから検証の記録自体が価値になる。

へえ。論文のサーベイだと学界の論文は約3分の1なのに引用は10%未満って話もあったね。可視性の問題でもあるんだ。

そう。ArchSpaceは提案をArchitecture Proposal issueとして変更点・根拠・ベースライン・検証計画を書き、コミュニティで議論してからPRで実装、設定、チェックポイント、訓練ログ、評価結果、再現手順を出す。失敗試行や探索の選択も記録する。

失敗も残すのが大事だよね。で、レビューは何を見るの?

実装が提案と合ってるか、比較が再現できるか、実験が結論を支えてるか。検証済みPRはマージされて、後の研究が参照できる。レビュー済みPRは従来論文と同じ位置づけを目指す、ってのが大きい。

なるほど。検証はどうやって公平にするの?

Phase Iはスケーリング則を使う。同じデータ、トークナイザ、検証データで、1×10^18、3×10^18、1×10^19、3×10^19、1×10^20 FLOPsの5予算を比較。Setting 1はベースラインの最適設定を再利用、Setting 2はモデルサイズとトークン数のIsoFLOP探索でLRとBSは再利用、Setting 3はLRとBSも4×4グリッド例で調整する。

予算ごとに探索の重さが違うんだ。Phase IIは?

1Bモデルを150B+10Bトークンで訓練して、利得が長く続くか下流性能に出るかを見る。8K文脈で事前訓練して、64K文脈の長文脈mid-training。事前訓練はDolma 3 Pool 150B sample、長文脈mid-trainingはDolma 3 Longmino Mix (50B)から。Base MainとBase Long-ContextをOLMESで評価し、RULERとHELMETも使う。訓練各段階の最終チェックポイントで比べる。

ベースラインは何?

Qwen3.5はGated DeltaNet 3層+full attention 1層、OLMo3はsliding-window attention 3層+full attention 1層のハイブリッド。初期参照としてQwen3.5とOLMo3のベースライン、フィット済みスケーリング則、再利用できる訓練レシピを提供する。

既存プラットフォームとの比較は?

提示本文ではArchSpaceと既存プラットフォームの数値比較は確認できない。Qwen3.5/OLMo3ベースラインとの同一条件比較を設計してるけど、Phase IIの性能比較結果も本文からは確認できない。

じゃあ、まだ「プラットフォームがうまく回るか」は未知なんだ。参加者数、査読品質、引用増加みたいな効果は?

提示本文からは確認できない。限界はPhase IIが1Bモデル・特定トークン数・OLMES系評価に限られること、大規模モデルや他タスクへの一般化は未検証なこと。Phase Iも外挿検証はするけど予測最適と実測最適はずれるから追加探索が必要。査読の再現性・公平性、失敗記録の徹底、計算コスト負担も残る。

でも、失敗込みで記録して後から参照できると、同じ山を何回も登らずに済みそう。研究の地図ができる感じ。

そういう共有基盤を目指してる。アイデアを新しいベースラインにつなげる方向は意義がある。

じゃあ私も失敗ログだけは大量に提供できるかも。今日のお昼に何を食べるか迷った記録とか。

それはアーキテクチャ研究の失敗試行じゃない。まず提案とベースラインを書こう。