要点テキストから画像を生成する…
解説
ねえねえ智也くん！この『VIPER』って論文、何？なんだか強そうな名前だけど、毒蛇の研究かなにか？
いや、これは動画生成AIがどれくらいちゃんと『推論』できているかを評価するための研究だよ。最近のAIは動画を作るだけじゃなくて、迷路を解いたり物理現象を予測したりもできるんだ。
へぇー！AIが動画で迷路を解いちゃうなんて、天才じゃない！もう人間いらなくなっちゃうね。
それがそうでもないんだ。この論文が指摘しているのは『アウトカム・ハッキング』っていう問題だよ。つまり、最後だけ正解っぽく見せて、途中の過程がめちゃくちゃっていう「まぐれ当たり」がすごく多いんだ。
アウトカム・ハッキング？なんだかズルしてるみたい！どういうこと？
例えば、迷路を解く動画を作る時に、スタートからゴールまで壁を突き抜けてワープしちゃうような感じかな。最後のフレームだけ見れば『ゴールに到達した』から正解に見えるけど、過程は間違いだよね。
あはは、それはひどい！壁を無視するのは反則だよね。でも、それをどうやってチェックするの？
そこで登場するのが『VIPER』っていうベンチマークと、『POC』っていう新しい評価指標だよ。POCは動画の最初から最後までをチェックして、過程も結果も両方正しくないと点数をあげないっていう厳しいルールなんだ。
ベンチマークっていうのは、AIの実力を測るテストみたいなものだよね？どんなテストがあるの？
全部で16種類のタスクがあるよ。チェスの王手（チェックメイト）を当てるものから、物理の実験、数式の計算、さらには地図を見てナビゲーションするものまで、かなり幅広いんだ。
すごーい！そんなにたくさんあるんだ。それで、最新のAIたちはそのテストで満点取れたの？
いや、結果はかなり厳しかったよ。Sora 2やVeo 3.1みたいな世界トップクラスのAIでも、過程まで完璧にこなせたのは20%から30%くらいしかなかったんだ。やっぱり、見た目が綺麗な動画を作るのと、論理的に正しい動画を作るのは別物なんだね。
えーっ、あんなに賢そうなのに、たったの2割！？AIも意外とおっちょこちょいなんだね。これからどうすればもっと賢くなるのかな？
論文では、テストの時にAIにもっとじっくり考えさせる『テストタイム・スケーリング』っていう手法が有効かもしれないって言及されているよ。あとは、動画の1コマ1コマの論理的なつながりを強化する研究が必要だね。
なるほどね。AIも『急がば回れ』ってことか！よし、私もテストでアウトカム・ハッキングしないように、計算過程をちゃんと書くようにするよ！
亜美さんの場合は、ハッキング以前にまず計算ミスを減らすところから始めたほうがいいと思うけどね。
要点
- 動画生成AIが複雑なタスクを解く際、最終的な結果（最後のフレーム）だけが正しく、途中の過程が支離滅裂になる「アウトカム・ハッキング」という現象が起きていることを指摘した。
- 過程の正しさを評価するための新しいベンチマーク「VIPER」を提案。時間的、構造的、物理的など6つの領域、16のタスクで構成されている。
- 「POC（Process-outcome Consistency）」という新しい評価指標を導入。動画全体からサンプリングしたフレームが、過程の制約と最終目標の両方を満たしているかを厳密に判定する。
- Sora 2やVeo 3.1などの最新モデルでも、過程まで含めて正解できる割合（POC）は20〜30%程度にとどまり、真の視覚的推論にはまだ大きな課題があることを明らかにした。