いや、全然違う。これはAIが画像の中の「どこに何があるか」をピクセル単位で塗り分ける、セマンティックセグメンテーションっていう技術の研究だよ。

普通のAIは、あらかじめ教えられた「犬」とか「車」しか見分けられないんだけど、これは「オープンボキャブラリー」といって、一度も見たことがない物でもテキストで指示すれば見つけられるんだ。

理論上はね。でも、今までのAIは「そこにない物」まで「ある」って勘違いしちゃう『ハルシネーション』っていう問題があったんだ。この論文はそれを解決しようとしている。

まず「オブジェクト存在先験情報」っていうのを使う。画像全体を見て、その物体が本当にいそうかどうかを先に計算して、怪しいときは重みを下げるんだ。これで「いないはずの物」を検出するミスを減らす。

……褒めてるのか？次に大事なのが『領域アウェア・アライメント』だ。画像の中の細かいエリアと、言葉の意味をぴったり一致させる仕組みだよ。これで境界線がボヤけなくなる。

まあ、そんな感じかな。さらに『デュアルストリーム融合』っていうのもあって、近くの細かい形を見る目と、全体の状況を把握する目を両方持たせて、情報を合体させるんだ。

その欲張りな設計のおかげで、6つの有名なテストで世界トップクラスの成績を出したんだ。しかも、他の複雑な手法よりシンプルで効率がいい。

自動運転で見たことない障害物を避けたり、ロボットに「あの棚の三番目にある青い箱を取って」って指示したり、応用範囲はめちゃくちゃ広いよ。

そうだね。非常に小さすぎる物体や、背景に完全に溶け込んでいる物の識別はまだ課題だ。今後はもっと複雑な文脈を理解する研究が進むと思うよ。