TL;DR
論文は、プラトン表現仮説をJEPAの定理にした。同じ場面の2観測を正例にする「良い正例」なら、別々に学習した複数モダリティの表現は回転まで一致し、次トークン予測は単一観測の破損を使う「悪い正例」としてスケール依存になりやすい。実験では良い正例のJEPAが同じコーパスで大幅に少ないサンプルで大きな言語モデルに匹敵・超過し、画像キャプションやペアなし整列にも使える。ただし理論は理想化条件、実験は画像・テキスト・動画などに限定される。
既存手法との違い
既存研究はPRHを観測・仮説として提示し、実務ではスケールが主な改善手段だった。本論文は比較対象として、次トークン予測のLLM（Qwen2.5-72BやLlama-3-70Bなどを含む）、CLIPのテキストエンコーダ、同一コーパス上の次トークン予測を置く。同一テキスト・同一エンコーダ条件で、良い正例JEPAはWIT-1024上のDINOv2との相互10-NN整合で、21.6Mサンプルが次トークン予測の900Mサンプル相当（約42倍少ない）と報告。940M web画像テキストで学習した109Mパラメータのtext JEPAは.184で、評価した最大72BのLLM（例Qwen2.5-72B .154）やCLIP text encoder (.124)を上回ると報告。比較は論文記載のベンチマーク・指標に依存し、RAG等の運用比較ではない。
使える条件
理論の前提は、有限世界の状態、モダリティごとの単射的レンダリング、同一の正例分布（良い正例）、回転を除く一意性、スペクトルギャップ、whitened second-order anti-collapseを持つJEPA、予測器がidentityの設定。実務で使うには、正例を「同一場面の別観測」として設計できること、モダリティ間で同じ世界状態を共有できることが重要。実験は145k Flickr captionsから940M web画像テキスト、DINOv2/CLIP/I-JEPA等の画像エンコーダ、動画、COCOキャプション、Schnaus et al.のペアなしベンチマーク。未知の条件（RAG、任意の業務ログ、アクション条件付きJEPA、学習済み予測器付きJEPA、画像・テキスト・動画以外のモダリティの実証）は提示本文から確認できない。
限界と未検証の範囲
理論はpopulation optima、identity predictor、有限世界、単射レンダリング、正例分布共有、回転を除く一意性などの理想化に依存。Proposition 1はwhitened second-order anti-collapseとスペクトルギャップの下で一意性を示すが、SIGRegの完全分布制約下の一意性は仮定として残る。Theorem 2は正例が異なる場合の誤差上界で、完全一致を保証しない。悪い正例の議論も理論モデル。実験は画像・テキスト・動画の特定ベンチマークと整合指標・ゼロショット分類・COCOキャプションに限定され、RAG/LLM運用、ドメイン固有データ、任意のモダリティ、学習済みpredictor付きJEPA、アクション条件付きJEPAは未検証。提示本文にない数値・比較は確認できない。
解説
ねえ智也、この「JEPAの良い正例で言語と視覚の表現が回転まで一致して、少サンプルで整合する」って論文、タイトルからしてすごいんだけど、何が問題だったの？
もともとプラトン表現仮説っていう、別モダリティのモデルがスケールすると同じ世界の表現に近づくっていう観測があった。でも証明もレシピもなかった。だから実務ではスケールを増やすのが主な手段だった。
へえ、仮説を定理にしたってこと？ どうやったの？
JEPAの正例の作り方に注目する。同じ場面の二つの観測、たとえば同じシーンの二枚の写真や二つのキャプションを正例にするのが「良い正例」。逆に一つの文のマスク違いとか、一つの観測の破損同士は「悪い正例」。
良い正例なら、画像JEPAとテキストJEPAが別々に学習しても同じ表現になる？
理論では、有限世界を単射的にレンダリングして、正例分布が同じで、回転を除いて最小解が一意なら、複数モダリティの表現は一回転まで一致する。whitened second-order anti-collapse とスペクトルギャップの下で一意性を示す。予測器はidentityの設定。
ちょっと難しいけど、同じ世界状態を正例で結べば座標系だけ違うってことか。で、次トークン予測は？
次トークン予測は、同じ文書内のprefixとcontinuationを正例にするJEPAとして見られる。これは単一観測の破損を使う悪い正例側で、スケール依存になりやすい、と説明してる。
言語モデルがスケールで視覚と整合する理由の説明にもなるんだ。実験は？
145k Flickr captionsから940M web画像のテキストまで。同一テキスト・同一エンコーダで、良い正例JEPAは21.6Mサンプルで次トークン予測の900Mサンプル相当の整合に届く。42倍少ないサンプル。109Mパラメータのtext JEPAは.184で、Qwen2.5-72Bの.154やCLIP text encoderの.124を上回る。
同じコーパスで少ないサンプルってのが強いね。比較はLLMとCLIPのテキストエンコーダ？
そう。評価したLLMは最大72Bまで、あとCLIP text encoder。画像側はDINOv2、CLIP、I-JEPAとか。動画もやってる。一回転で別々に学習したエンコーダを画像キャプション器にして、COCOでCIDEr .838。ペアなしベンチマークでもゼロショットで既報を上回る、と報告してる。
応用としては、ペアなしで言語と視覚を回転で合わせられるのが面白い。でも理論は理想化してるんでしょ？
そこは重要。population optima、identity predictor、有限世界、単射レンダリング、正例分布の共有、回転を除く一意性、スペクトルギャップみたいな前提がある。SIGRegの完全分布制約下の一意性は仮定として残る。正例が違う場合は誤差上界で、完全一致は保証しない。
実験も画像・テキスト・動画の特定ベンチマークに限定で、RAGとか業務ログ、アクション条件付きJEPA、学習済みpredictor付きJEPAは提示本文からは確認できない、ってことだね。
そう。あと比較は論文のベンチマークと指標に依存する。RAGの運用比較ではない。理論も実装の追試をしたわけじゃない。
なるほど。良い正例を設計できるかがレバーってわけだ。じゃあ私の散らかった部屋も、別角度から二枚撮れば良い正例になって片付く？
ならない。それはただの散らかりの二観測だ。
ぐさっ。