TL;DR
NEO-VLAは、CLIP等の別途視覚エンコーダを使わず、生画像を軽量パッチ埋め込みで視覚言語バックボーンに直接入れ、フローマッチング行動専門家が複数層のK/Vを読んで連続行動を予測するVLAです。原論文では、最終層だけでなく早期・中間層の視覚表現が制御に有効で、凍結バックボーンでは特に差が出ると報告しています。LIBERO系とRoboTwin 2.0で評価され、分布シフトへの頑健性も示されますが、利得をエンコーダ除去だけに帰属できない点や評価範囲の限定は留意が必要です。
既存手法との違い
原論文では、既存VLAを「別途事前学習した視覚エンコーダ（CLIP、SigLIP、DINOv2等）＋言語バックボーン＋行動デコーダ」という構成として整理し、離散行動トークン型と連続行動（flow matching等）型を挙げています。NEO-VLAは視覚エンコーダを外し、軽量な畳み込みパッチ埋め込みで画像をバックボーンのトークン空間へ直接入れ、選択したバックボーン層のK/Vをフローマッチング行動専門家が読む点が異なります。比較ではQwen3-VL-2BとGemma-3-4Bを、同一の行動専門家・同一のロボット学習コーパスで用い、凍結バックボーンと全体微調整の両設定でLIBEROを評価しています。また層マップ比較としてfirst-28、skip-28、end-28、full-40を用意し、前者3つは同規模の28層専門家で読み出し深さを比較、full-40は高容量設定として別扱いしています。原論文は、制御比較でnative構成がencoder-based構成を上回り、全体微調整で差は縮むが消えず、スケールだけでは回復しないと報告しています。ただし事前学習やモデル容量の違いから、性能差をエンコーダ除去だけに帰属できないとも明記しています。
使える条件
原論文の評価対象はロボットマニピュレーションで、LIBERO、LIBERO-plus、RoboTwin 2.0を用いています。入力は前後時刻の最大3視点画像、構造化プロンプト（制御周波数、ロボット embodiment、グリッパー構成、行動座標系、タスク指示）、前後ロボット状態を含むマルチモーダルprefixです。画像は視点あたり最大88視覚トークンの予算で動的にパッチ化され、軽量2段畳み込みパッチ埋め込み（全体stride 32）でバックボーンに入ります。バックボーンは40層・2Bパラメータのencoder-free視覚言語モデルで、行動はflow matching行動専門家が連続行動チャンクとして予測します。学習には9つの公開データセット群からなる2,231,583エピソード、9,927時間のコーパスを使用したと記載されています。GPU等の計算資源、実機での長時間運用、他ベンチマークや他ロボットへの一般化は、提示された本文からは確認できません。
限界と未検証の範囲
原論文は、同一の行動専門家と同一のロボット学習コーパスで比較している一方、Qwen3-VL-2BやGemma-3-4Bとは事前学習・モデル容量が異なるため、性能差を視覚エンコーダ除去だけに帰属できないと明記しています。評価はLIBERO、LIBERO-plus、RoboTwin 2.0に限定されており、実世界の多様な環境、安全性、推論レイテンシ、計算コストは提示本文からは確認できません。全体微調整でencoder-basedとの差は縮むが消えず、スケールだけでは回復しないと報告されています。full-40は高容量設定として別扱いであり、first-28/skip-28/end-28の比較とは条件が異なります。層ごとの介入結果は早期層の重要性を示しますが、最適な層マップや他のembodimentへの一般性は本文からは確認できません。
解説
ねえ智也、このNEO-VLAって論文、タイトルからして「視覚エンコーダを外す」って話？なんで外すの？
うん。普通のVLAはCLIPとかSigLIP、DINOv2みたいな別の視覚エンコーダで画像を圧縮してから、言語バックボーンと行動モデルに渡す。でも操作では局所的な形、境界、奥行き、微妙な状態変化が大事で、その抽象化で落ちやすいんだって。
へえ。視覚エンコーダって便利そうなのに、逆にボトルネックになることがあるんだ。
論文の問題意識はそこ。行動予測は固定された最終的な視覚表現だけを使うべきなのか、それとも計算の途中の視覚表現にもアクセスすべきなのか、って。
で、NEO-VLAはどうしてるの？
まず軽量な2段の畳み込みパッチ埋め込みで、生画像を直接バックボーンのトークン空間に入れる。画像トークンと言語トークンを一緒に40層のバックボーンで処理する。別途の視覚エンコーダも画像コードブックもオートエンコーダも使わない。
ふむふむ。行動はどう出すの？
フローマッチングの行動専門家が、選択したバックボーン層のK/Vを読んで連続行動チャンクを予測する。どの層を読むかを層マップで決められる。first-28は早期層だけ、skip-28は全体から28層、end-28は後半層、full-40は全40層で、full-40は高容量設定として別扱い。
読む深さを選べるのがポイントなんだ。入力は画像だけ？
前後時刻の最大3視点画像と、制御周波数、ロボットの身体構成、グリッパー構成、行動座標系、タスク指示を含む構造化プロンプト、前後ロボット状態をまとめたマルチモーダルなprefix。画像は視点あたり最大88視覚トークンの予算で動的にパッチ化される。学習には9つの公開データセット群からなる2,231,583エピソード、9,927時間のコーパスを使ってる。
じゃあ、どこが効くの？
論文では、バックボーン凍結時は早期層を含む読み出しが後半だけより一貫して良く、全体微調整後は早期と後期の組み合わせが最良だった。早期層の活性を入れ替えると後期層をかく乱するより予測誤差が大きくなる、って介入結果も報告してる。
つまり、最終層の前に大事な情報があるってこと？なんか意外。
そう。局所的な空間や幾何の手がかりが、最終表現より前の方にまだ直接残ってる、という解釈。論文は「行動に重要な信号は最終表現よりかなり前でピークになりうる」と報告してる。
評価は何でやってるの？
LIBERO、LIBERO-plus、RoboTwin 2.0。標準の操作と、見た目・言語・環境の分布シフトを含む。比較ではQwen3-VL-2BとGemma-3-4Bを、同じ行動専門家と同じロボット学習コーパスで使って、凍結バックボーンと全体微調整の両方でLIBEROを見てる。
結果は？
論文ではnative構成がencoder-based構成を上回る、と報告されてる。全体微調整で差は縮むけど消えず、追加のスケールだけでは回復しない。あとカメラ摂動や画像ノイズみたいなシフトで頑健性が特に目立つ、とも。
すごい。でも、エンコーダを外したから全部良くなった、とは言い切れないんでしょ？
そこは論文も明記してる。Qwen3-VL-2BやGemma-3-4Bとは事前学習もモデル容量も違うから、利得をエンコーダ除去だけに帰属できない。比較は同一行動専門家・同一コーパスだけど、完全に同じ条件ではない。
評価範囲も限られてる？
うん。評価はLIBERO、LIBERO-plus、RoboTwin 2.0に限定。実世界の多様な環境、安全性、推論レイテンシ、計算コストは提示本文からは確認できない。最適な層マップや他のembodimentへの一般性も本文からは確認できない。
なるほどね。でも「どの層の視覚計算を見せるか」を設計変数にしたのは面白い。固定の視覚エンドポイントじゃなくて、途中経過に行動がアクセスできるわけだ。
そう。論文の意義は、何を表現するかだけでなく、どの段階の視覚計算を行動に使えるようにするかが制御に効く、という原則を示した点。
じゃあ私も脳の初期層だけでテスト受ければいいかも。局所的なひらめきがまだ残ってるうちに。
残念ながら、君の最終層もかなり怪しい。