TL;DR
VeriCUAは、計算機操作エージェント（CUA）のタスク完了判定を「証拠集め」として扱う検証フレームワークです。実行後の履歴や環境を調査してルーブリックを作り、GUI/コード検査で未解決要件の証拠を集め、出所付きの規則で成功・失敗・保留を判定します。原論文は、VLM判定や単発の検査プログラムと比べて、複数プラットフォームのオフライン/オンライン設定で参照ラベルとの一致が改善したと報告しています。ただし証拠にアクセスできない場合は保留になり、評価範囲やコストの詳細は提示本文だけでは限られます。
既存手法との違い
原論文の比較対象は、主に(1)供給された観測だけを1回読むVLM judge、(2)アクセス可能な状態に対して単一スクリプトを生成するgenerated verifierです。VLM judgeは複雑な環境の部分観測に制限され、生成プログラムは参照できる状態に依存します。また、プラットフォーム別の専用検証器は工学コストを増やします。VeriCUAは、実行後に利用可能な履歴・環境を調査してルーブリックを作り、未解決要件に対してGUI/コード検査を選択し、証拠の出所や永続性を付けて規則的に統合する点が異なります。原論文は、オフライン/オンラインの複数設定で参照ラベルとの一致改善、オンラインでの誤完了主張のより強い棄却、コード読み取り追加や視覚証拠追加の効果を報告していますが、提示本文には具体的な数値はありません。
使える条件
対象はdesktop/mobile/webのCUAです。入力は指示g、実行軌跡τ、または実行後状態sTで、検証は実行エージェントの試行終了後に行います。利用ソースは、保持軌跡、記録されたa11ytrees、凍結スナップショット、アクセス可能なマシン状態、必要に応じた実行前参照です。オフラインは保持観測を、オンラインは露出したマシン状態を用います。GUIツール（フレーム選択、ズーム、OCR、a11y、スクリーンショット）とコードツール（ファイル読取、SQLiteクエリ、API/システム状態、チェッカー生成）が必要です。出力はsuccess/fail/abstainで、検査予算Lやハーネス、アクセス権限が前提です。計算資源、モデル、完全なツール一覧、対応プラットフォームの全リストは提示本文からは確認できません。
限界と未検証の範囲
証拠が不足すればabstainになり、検査予算を使い切る可能性があります。オンラインは環境が公開する状態に依存し、オフラインは記録されたフレーム・ログ・構造化観測に依存します。専用チェッカーがないタスクを対象にしますが、アプリが状態を露出しない場合は決定的な証拠を得にくいです。ルーブリック合成・検査選択・判定はモデルやツール実装に依存します。評価は複数プラットフォームのオフライン/オンライン設定ですが、提示本文の抜粋では具体ベンチマーク、数値、コスト/レイテンシ、スケール、安全性、実運用での誤判定率は確認できません。一般化できる範囲は未検証です。
解説
ねえ智也くん、CUAの完了判定ってそんなに難しいの？
難しい。エージェントが「できた」って言っても、保存されてないとか、一部だけやってるとかがある。それを成功にすると誤検出になる。
なるほど、行動したことと実際の効果は別なんだ。
そう。よくあるのは、VLMに軌跡を見て判定させる方法と、状態を調べるプログラムを生成する方法。でも前者は渡された観測だけ、後者はアクセスできる状態だけに依存する。
どっちも部分的に見てるってことか。プラットフォームごとに専用検証器を作るのも大変そう。
だからVeriCUAは、検証をエージェント的な証拠集めとして扱う。実行が終わってから、まずアプリや周辺を調べて、指示と合わせてルーブリックを作る。
ルーブリックって、必須の要件と補助の要件に分けるやつ？
そう。hardは成功に必須、softは追加チェック。未解決の要件にはGUI検査かコード検査を選んで、見つけた証拠を出所付きの規則でまとめる。判定はsuccess、fail、abstainの3つ。
保留のabstainがあるの、いいね。証拠がないのに成功にしないのは大事だと思う。
論文ではVLM judgeやgenerated verifierと比較してる。複数プラットフォームのオフラインとオンラインで、参照ラベルとの一致が改善したと報告してる。
へえ、具体的にはどんな分析があるの？
オフラインの難しいケースで伸びが大きい、オンラインで誤った完了主張をより強く棄却する、コード読み取りを足すと判断が増えても誤検出は増えない、同じ検証回数なら視覚証拠を足すと一致とカバレッジが改善する、って分析。
数字は？ ベンチマーク名とかコストとかも知りたいな。
提示本文には具体的な数値がない。ベンチマーク名やコスト、レイテンシも抜粋からは確認できない。そこは原論文の報告と記事の解釈を分けて見る必要がある。
前提はどんな感じ？ オフラインとオンラインで使うものが違うんだよね。
オフラインは保持された軌跡やa11ytrees、オンラインは露出したマシン状態を使う。ファイル、DB、設定、スクショ、OCR、コード読み取りみたいなツールが必要で、検査予算やアクセス権限にも依存する。
証拠にアクセスできないときは保留になるんだ。
そう。一般化できる範囲はまだ未検証だし、ルーブリック合成や検査選択はモデルやツール実装にも依存する。実運用での誤判定率や安全性も本文からは確認できない。
でも、オフラインもオンラインも同じ手順で見られるのは便利そう。データ整理や評価、強化学習のフィードバックにも効く可能性があるってことだね。
あくまで論文が報告している範囲の話だけどな。
じゃあ私の「課題やった」も、証拠探索して保留してくれない？
まずファイルを保存してから言ってくれ。