TL;DR
ObstaDiffはRGB-D観測を目標・障害物・背景のマスクと深度に分解し、軽量エンコーダで拡散政策に条件付けます。接近は学習、近接作業はリプレイに分け、温室の実ロボット61試行/手法で成功率75.41%、衝突率8.20%を報告しています。ただし評価はSawyerと温室ペッパー課題に限定されます。
既存手法との違い
原論文ではACT（RGB/TOB）やDiffusion Policy系（DP RGB、DP RGB-D、DP TOB）とObstaDiffを比較しています（図1）。拡散政策系の比較では、同一の90件のデモ、同一の訓練/検証分割、2観測ステップ、予測ホライズン16、実行8、250エポックなどの共通条件が使われています。ObstaDiffの違いは、RGB-Dを目標・障害物・背景のマスクと深度からなるTOB表現に変換し、到達対象と回避対象を明示して拡散政策を条件付ける点です。提示本文には基線ごとの成功率・衝突率の個別数値は示されていないため、そこは補作しません。
使える条件
原論文の評価対象は、7自由度Sawyerアームとeye-in-handのRealSense D455 RGB-Dカメラを用いた屋内温室テストベッドでのペッパー到達・接触課題です。入力にはfine-tuned YOLOv8s-Worldv2による目標・障害物検出と深度画像を使い、90件の専門家による接近デモと26件の相互作用リプレイ軌道を前提としています。計算資源は学習にRTX 6000 Ada、展開にRTX 2080 Tiを使用しています。目標姿勢、障害物配置、目標外観の変化は評価されていますが、他ロボット、他作物、他センサー、動的障害物、未見の障害物カテゴリへの適用は未知です。
限界と未検証の範囲
実ロボット評価は61試行/手法、合計366実行で、単一の屋内温室テストベッドとSawyerに限定されています。Obstacle-Layout Generalizationは既知の障害物種に対する未見の配置・位置の評価であり、未見の障害物カテゴリへの汎化ではありません。Target-Appearance Generalizationも未見の緑ペッパー2種への評価で、作物種や照明・視点変更の定量評価は提示本文から確認できません。近接作業はリプレイライブラリと最近傍切替に依存するため、相互作用軌道の準備が必要です。YOLO検出失敗時の影響、動的障害物、他ロボットへの転用、計算コストは提示本文からは確認できません。
解説
ObstaDiffって名前、なんか強そうだね。障害物を明示するTOB表現で拡散政策の実環境汎化を改善する、ってどういうこと？
ざっくり言うと、RGB-Dを見たまま拡散政策に入れるんじゃなくて、目標・障害物・背景に分けて渡す話。現場のclutterで汎化しにくい問題を狙ってる。
なるほど、障害物を『避けるもの』として明示する感じ？
そう。従来の模倣学習はきれいな卓上前提が多くて、障害物が入ると目標と障害物が潜在特徴で混ざる。だから到達すべき場所と避ける場所の信号が薄くなる。
で、ObstaDiffはRGB-Dからマスクと深度を作るんだ。
fine-tuned YOLOv8s-Worldv2で目標と障害物を検出して、残りを背景にして3枚のバイナリマスクと正規化深度の4チャネルにする。それを軽量なStructuredObsEncoderで意味ブランチと深度ブランチに分けて、spatial softmaxでコンパクトな特徴にして、EEF姿勢と結合して103次元の条件ベクトルにする。2観測ステップだと206次元。
ふむふむ。で、拡散政策は何をするの？
目標中心のボトルネック姿勢に向かう接近を拡散政策で学習する。最初の8アクションを実行して再計画、ってreceding horizon。ボトルネックに十分近いかをリプレイライブラリの初期目標状態と比較して、近ければ相互作用はリプレイに切り替える。
接近は学習、近接作業はリプレイなんだ。モジュール分けてるのがミソ？
そこは大きい。同じ接近政策を使ったまま、リプレイライブラリを変えれば触る・収穫・観察みたいに近接作業を差し替えられる、という設計。原論文ではペッパーに触れる課題で評価してる。
評価はどれくらい？
実ロボットで61試行/手法、合計366実行。Sawyerアームとeye-in-handのRealSense D455で、屋内温室のペッパー到達・接触課題。目標姿勢20、障害物配置21、目標外観20の合計61。ObstaDiffは平均成功率75.41%、平均衝突率8.20%と報告してる。
比較は？
原論文ではACTのRGB/TOB、Diffusion Policy系のDP RGB、DP RGB-D、DP TOBと比較してる。拡散政策系は同じ90デモ、同じ分割、2観測ステップ、予測ホライズン16、実行8、250エポックとか共通条件。違いはObstaDiffがTOB表現で目標と障害物を明示する点。ただ基線ごとの成功率・衝突率の個別数値は提示本文には出てないから、そこは補わない。
なるほど。使える条件は？
提示本文ではSawyer、D455、屋内温室、ペッパー課題、YOLO検出、90件の専門家接近デモと26件の相互作用リプレイ軌道が前提。学習はRTX 6000 Ada、展開はRTX 2080 Ti。他ロボット、他作物、他センサー、動的障害物、未見障害物カテゴリは確認できない。
制限も気になる。
実ロボット評価は単一の屋内温室テストベッドとSawyerに限定。OLGは既知の障害物種に対する未見の配置・位置で、未見カテゴリじゃない。TAGも未見の緑ペッパー2種。照明や視点変更の定量評価、YOLO検出失敗の影響、計算コストは提示本文からは確認できない。近接作業はリプレイライブラリが必要。
でも、到達と回避を明示して、接近と近接を分けるのは実環境っぽい改善だね。
そう。原論文の報告として成功率と衝突率を改善し、目標姿勢・障害物配置・目標外観の設定で汎化を示してる。ここは報告と解釈を分けて読む必要がある。
TOBって見るたび『跳ぶ』に空目するんだよね。障害物を跳び越えるロボットかと思った。
跳ばない。マスクで避ける。