ああ、EAFGは「Explore, Act, Fine-tune, and Grasp」の略で、ロボットが調理みたいな長いタスクをするときに、最初から全部の物が見えてるわけじゃないから、足りない物を能動的に探すんだよ。

そう、従来は見える範囲だけで計画してた。でも実際のキッチンとかだと、冷蔵庫の中とか引き出しの中は見えないでしょ。EAFGはそういう隠れた物を探すために、視覚言語モデル（VLM）が「次はどこを探すか」を決めて、タスクと動作計画（TAMP）がそれを実行するんだ。

まあそんな感じ。でもポイントは、探索した結果に基づいて「計画を続けるか」「もっと探すか」「止めるか」を判断するところ。例えばレシピに「バター」って書いてあっても、実際にバターが無ければ無駄に動かずに停止するんだ。

例えば「サラダを作って」って言われたとき、具体的な材料が指定されてなくても、VLMが「レタスとかトマトが必要だな」って推論して、実際にある物を使ってレシピを完成させるんだ。

シミュレーション環境で、調理タスクをやらせて、成功率とか探索の効率を測ったみたい。EAFGを使うと、物が無い場合でも早く停止できて、無駄な動作が減ったらしい。

うーん、VLMの推論に依存してるから、VLMが間違った探索サブゴールを出すと、ロボットが無駄な場所を探しちゃうかもしれない。あと、シミュレーションだけだから、実際のロボットで試すにはまだ課題があるかも。

はは、確かに。でもロボットが「もういいや」って諦めるのは、かくれんぼよりずっと賢いよ。

ああ、Incidents1Mっていう災害画像のデータセットは、画像だけあってテキストがなかったんだ。AIが災害を理解するには、画像とテキストのペアが必要だから、キャプションを付ける必要があったんだよ。

VLMっていう視覚と言語を扱うモデルを使って、100,000枚の画像から200,000件のキャプションを生成したんだ。Qwen3.5-4BとQwen3.5-35B-A3Bの2種類を使って、それぞれ1枚につき2つずつ生成したみたい。

そこが面白いところで、画像を見せないLLM-as-a-Judgeっていう方法を使ってるんだ。Qwen3.5-9Bっていう言語モデルに、キャプションと画像の説明だけを見せて、意味が合ってるかどうかスコアを付けるんだよ。

平均78.65/100で、かなり高い意味的一致が確認できたんだ。ただ、精度は77.6%で再現率が46.0%と、保守的な傾向があるみたい。つまり、確信がないときはキャプションを生成しないってこと。

実はそれが狙いなんだ。このデータセットはDFKDっていうデータフリー蒸留に使うことを想定していて、高品質なキャプションだけを選びたいから、再現率が低くても精度が高い方がいいんだよ。

そう、教師モデルから知識を抽出するときに、元のデータを使わずに合成データで行う手法だよ。この研究では、その合成データを作るのにキャプションを使うんだ。

うん、再現率が低いから、災害の種類によってはキャプションが付かない画像もあるかもしれない。あと、LLM-as-a-Judge自体のバイアスも考えられるし、実際に人間が確認したわけじゃないから、完璧とは言えないね。

この研究ではまず10万枚で検証したけど、手法自体はスケールできるから、今後はもっと増やせると思うよ。

まあ、目隠しでも味はわかるけど、見た目が大事な料理もあるからね。