AIが「出来事」で動画を理解する！？長時間動画もサクサクわかる新技術「Event-VStream」

イベントが流れるんじゃなくて、動画を「イベント」っていう単位で理解しようって話だよ。亜美さん、AIが長い動画をずっと見続けるのって、実はすごく大変なんだって知ってる？

それがそうでもないんだ。今のAIは、動画を1コマずつ、あるいは一定時間ごとに処理するんだけど、それだと「ずっと同じ画面なのに何度も計算しちゃう」っていう無駄（冗長性）が出るし、逆に「さっき何が起きたか忘れちゃう」っていう問題があるんだよ。

そうだね。そこでこの論文は、人間と同じように「何かが起きた瞬間」だけを切り取って理解しよう、と考えたんだ。それが『イベント駆動型』っていう考え方だよ。

いい質問だね。この論文では「イベント境界検出器」っていうのを作って、3つのヒントを使っているんだ。1つ目は『動き』、2つ目は『意味の変化』、そして3つ目が『予測誤差』だよ。

惜しいけどちょっと違うかな。AIが『次の画面はこうなるはずだ』って予想して、それが大きく外れたら『あ、新しいことが起きたんだな』って判断するんだ。これを専門用語で「自己教師あり学習」を使った予測って言うんだけど、これらを組み合わせることで、正確に動画の区切りを見つけるんだよ。

区切った「イベント」をギュッと凝縮して「メモリバンク」っていう場所に保存するんだ。これによって、数時間の動画でも大事なところだけを覚えておけるから、動作が重くならないし、昔のことも忘れにくくなるんだよ。

結果はすごかったよ。2時間の動画を見せて質問に答えさせるテストでは、あの最強と言われるGPT-5に対しても70%以上の確率で勝ったんだ。しかも、処理速度もめちゃくちゃ速くて、リアルタイムでスラスラ答えてくれる。

例えば、家事ロボットが『さっき鍵をどこに置いた？』って聞かれてすぐに答えたり、ARグラスをかけた人のサポートをしたり、防犯カメラが異常をすぐに見つけたり……応用範囲はすごく広いよ。

まだ課題はあるよ。今は「イベント」としてまとめる時に情報を削ぎ落としているから、すごく細かい部分の描写が抜ける可能性がある。今後は、もっと効率よく、かつ詳細に情報を残す方法が研究されていくはずだよ。

それはAIを使うまでもなく、ただの日常風景でしょ。早く片付けなよ。