TL;DR
DuoCookは、1つの視覚言語モデルが2人を同時に操作し、調理の順序・共有設備・地形変化・受け渡しを計画する能力を測るUnreal Engineベンチマークです。20マップ・5カテゴリで、スコア、注文完了率、配膳精度、操作受理率、API費用を評価します。提示本文では最良モデルでも平均注文完了率26.2%で未飽和、共有ノートの効果はモデルにより混在と報告されています。
既存手法との違い
提示本文では、既存手法を同一条件で走らせた直接比較は確認できません。関連研究としてOvercooked-AI、MindAgent/CuisineWorld、Collab-Overcooked、ParaCook、Robotouille、Cookbench、Balrog、VisualAgentBenchなどが挙げられ、DuoCookは1つのVLMが両プレイヤーを共有コンテキストで制御し、共有設備・動的地形・分離作業領域の受け渡しを扱う点で異なります。主評価はgpt-6-astra、claude-opus-5、qwen3.8-27b、gemini-3.5-flash-liteの4モデルを同一20マップで比較し、さらに共有ノートあり・なしのアブレーションを同一20マップで行う構成です。
使える条件
単一VLMが2人を同時に制御する集中型設定が前提です。入力はトップダウン画像、グリッドラベル、凡例、約4,000語のマップ別システムプロンプト、ライブ状態、合法操作、6応答の行動履歴で、ナビゲーションはエンジンが実行し、推論中はシミュレーションを停止します。評価はUnreal Engine/SimWorld Studio製の20マップ、4,000ステップ、固定注文列で、4モデルをAPI経由で利用します。ローカル計算資源の詳細、人間相手の協調、実ロボット、リアルタイム推論遅延下の運用は提示本文からは確認できません。
限界と未検証の範囲
各モデル・マップ・条件につき1回実行のため、結果は記述的でばらつき推定はありません。最良モデルでも平均注文完了率26.2%で、ベンチマークは未飽和です。共有ノートのスコア効果はClaude/Qwenで正、GPT/Geminiで負とモデル間で混在しています。既存ベンチマークとは観測・操作インターフェースが異なり、スコアを直接交換できません。対象は集中型2人制御であり、人間との協調や独立エージェント間の交渉は未検証です。また構造化状態とエンジン側ナビゲーションの支援があるため、生の視覚操作能力をそのまま測るものではありません。
解説
DuoCookって、2人で料理する共同計画をVLMで測るベンチマークなんだね。なんで普通の料理タスクじゃダメなの？
1人分の行動が正しく見えても、2人だと失敗するからだよ。片方が必要な板を塞いだり、鍋の横で待つだけになったりする。未完了の作業、共有設備、受け渡し、注文期限をまとめて段取りできるかを見たい。
なるほど。じゃあDuoCookは何をどう作ってるの？
Unreal Engine上に20マップを作ってる。カテゴリは基本、共有設備、動的、動的＋共有設備、分離作業領域の5つ。コーディングエージェントがSimWorld Studioでキッチンを作って、その後に手動調整とactor contractの検証をしてる。
1つのモデルが2人を同時に動かすんだっけ？入力は何を見るの？
そう。単一のVLMが2プレイヤーを共有コンテキストで制御する。入力はトップダウン画像、グリッドラベル、凡例、約4000語のマップ別プロンプト、ライブ状態、合法操作、6応答の行動履歴。移動はエンジンがナビゲーションで実行して、推論中はシミュレーションを止める。
評価は4モデルを同じ20マップで比べる感じ？
論文の報告では、gpt-6-astra、claude-opus-5、qwen3.8-27b、gemini-3.5-flash-liteの4モデルを同じ20マップで評価してる。4000ステップで注文列は固定。指標はスコア、注文完了率、配膳精度、操作受理率、API費用。
結果はどうだったの？
最良のgpt-6-astraでも平均注文完了率は26.2%。ほかのモデルは8.8〜11.2%で、ベンチマークはまだ未飽和。あと共有ノートあり・なしのアブレーションを同じ20マップでやってて、6応答の行動履歴は両条件で維持してる。ノートのスコア効果はClaudeとQwenで正、GPTとGeminiで負とモデル間で混在してた。
既存の料理エージェントとの直接比較はあるの？
同じ条件で既存手法を走らせた直接比較は、提示された本文からは確認できない。関連研究としてOvercooked-AI、MindAgent/CuisineWorld、Collab-Overcooked、ParaCook、Robotouille、Cookbench、Balrog、VisualAgentBenchとかは挙がってる。DuoCookの違いは、1つのVLMが2人を集中制御して、共有設備・動的地形・分離作業領域の受け渡しを扱う点。
使える前提と、注意点も知りたい。
前提は集中型で、単一VLMが2人を同時に制御すること。入力には構造化状態とエンジン側のナビ支援がある。ローカル計算資源の詳細、人間相手の協調、実ロボット、リアルタイム推論遅延下の運用は本文からは確認できない。
限界は？
各モデル・マップ・条件につき1回実行だから、結果は記述的でばらつき推定はない。既存ベンチとは観測・操作インターフェースが違うからスコアを直接交換できない。構造化状態とエンジンナビの支援があるから、生の視覚操作能力そのものを測るわけでもない。独立エージェント間の交渉や人間との協調も未検証。
でも意義は大きいよね。2人分の段取りを同じ土台で測れるベンチマークと評価プロトコルがあるってことだし。
そう。20マップ、共有マルチモーダル入力、5指標とノートのアブレーションをまとめたのが貢献。集中型の共同計画を測る土台になってる。
じゃあ私とAIで2人調理したら、共有ノートだけは得意かも。メモ帳として。
それは調理じゃなくて傍観だ。