TL;DR
SkillXは、ヒューマノイドサッカーのドリブル・トラップ・シュートなどを、単一のコマンド条件付き政策で学習・連続実行する強化学習フレームワークです。スキル別AMP、スキル別Critic、物体対応の時間エンコーダで、スキル間干渉・価値推定・部分観測に対処します。シミュレーションの長期タスクで成功率81.7%（AMPは27.4%）、実機Noetix E1で4タスク平均72.5%と報告されています。
既存手法との違い
原論文の表Iでは、シミュレーションの複合タスク（Medium: Dribble→Shoot、Hard: Trap→Dribble×3→Shoot）で、Vanilla PPO、AMP、Conditional AMP、MoE-based AMP、MoE-Encoder AMPと比較しています。HardのOverall成功率はSkillXが81.7%、AMPが27.4%です。MediumのOverallはSkillXが88.0%、AMPが51.0%、MoE-Encoder AMPが67.2%と報告されています。比較条件は提示本文に記載されたシミュレーション評価であり、本記事では追試していません。
使える条件
対象は25-DoFのNoetix E1ヒューマノイドで、Isaac Sim/Isaac Lab上で訓練します。政策は50 Hz、シミュレーションは200 Hzです。入力には固有感覚、スキル命令、ボール・ゴールの相対位置などの外部物体情報を用い、実機ではMoCap、または頭部搭載ZED2iカメラ・VIO・YOLOv8によるボール検出の2系統を評価しています。人間の参照動作はMoCapで収集しPHCでリターゲットします。物体速度はシミュレーションでは特権的な教師信号として使い、実機では履歴から推論する設計です。他ロボット・他競技への適用条件は提示本文からは確認できません。
限界と未検証の範囲
提示本文ではヒューマノイドサッカーへの実装が中心で、一般のマルチスキル物体相互作用タスクへの汎化は未検証です。参照動作の収集・リターゲットと、スキル別の訓練信号が必要です。実機評価はNoetix E1と特定の知覚構成に限定され、照明・ボール種類・遅延など広範な条件での頑健性は提示本文からは確認できません。実機4タスクの内訳や詳細条件も本文だけでは確認できません。数値は原論文の報告であり、本記事は独立再現していません。
解説
智也くん、ヒューマノイドサッカーのSkillXってやつ、単一の政策でドリブルもトラップもシュートもやるって話？
そう。人間みたいに複数スキルを一つの方策にまとめて、コマンドで切り替えながら長いタスクをこなす強化学習フレームワークだね。
なんでそんなに難しいの？サッカーってボール追いかけて蹴るだけじゃないの？
それが全然違う。まずスキルごとに動きのスタイルが違うから、単純に一緒に訓練すると干渉する。次にスキルごとに目的が違うから価値推定が難しい。さらにボール速度や接触みたいな状態がノイズや遅れで直接見えない。
なるほど、別々の運動を一つの脳みそに入れるとケンカする感じか。既存手法はどうしてたの？
既存のヒューマノイド sports は、タスクごとの多段パイプラインが多い。運動模倣してからタスク向けに微調整みたいに分けるから、複数の物体相互作用スキルを単一の配備可能な方策でまとめて学ぶのが難しい。
で、SkillXは何を変えたの？
配備は単一のコマンド条件付きactorに保つ。でも訓練ではスキル別の信号を使う。まずスキルごとのAMP識別器で運動スタイルの正則化を分ける。次にスキルごとのcriticで価値推定を分ける。最後に物体対応の時間エンコーダで観測履歴から隠れた状態を推定する。
AMPって何？なんか難しそう。
Adversarial Motion Priors。参照動作に近い動きを促すスタイル報酬を出す仕組み。SkillXでは全スキルで共有せず、スキルごとに識別器を分けて混ざりを減らしてる。
criticも分けるんだ。でもactorは一つなんでしょ？
そう。criticは共通の特徴抽出器を使って、スキル別のvalue headを持つ。コマンドがone-hotならそのスキルのcritic、切り替え中はコマンドで補間して報酬と価値を混ぜる。
時間エンコーダは？履歴をまとめるの？
観測履歴をcausal transformerでまとめて、rootと物体の速度を予測する補助タスクも入れる。物体速度はシミュレーションでは特権的な教師信号として使えて、実機ではノイズのある位置履歴から推論する必要がある。
なんか、過去の記憶をいい感じに要約してボールの動きを読む感じだね。
あと訓練戦略として、失敗率が高いスキルを多めにサンプルする適応的コマンドサンプリング、切り替えを増やすコマンド長カリキュラム、ボールの質量・摩擦・反発をランダム化する物体ドメインランダム化も入ってる。
評価はどうなってるの？
シミュレーションの表Iだと、MediumはDribble→Shoot、HardはTrap→Dribble×3→Shoot。比較はVanilla PPO、AMP、Conditional AMP、MoE-based AMP、MoE-Encoder AMP。HardのOverall成功率はSkillXが81.7%、AMPが27.4%。MediumのOverallはSkillXが88.0%、AMPが51.0%、MoE-Encoder AMPが67.2%って報告。
結構差が出るんだ。実機は？
25-DoFのNoetix E1で、MoCapを使う構成と、頭部のZED2iカメラ・VIO・YOLOv8でボール検出する構成を評価してる。実機は4タスク平均72.5%成功って報告。
へえ、シミュレーションだけじゃなく実機もやってるのが強いね。条件は？
訓練はIsaac SimとIsaac Lab。政策は50 Hz、シミュレーションは200 Hz。入力は固有感覚、スキル命令、ボールとゴールの相対位置などの外部物体情報。人間の参照動作はMoCapで集めてPHCでリターゲットしてる。
じゃあ、すごく汎用なの？
そこは注意。提示本文ではヒューマノイドサッカーへの実装が中心で、一般のマルチスキル物体相互作用タスクへの汎化は未検証。参照動作の収集・リターゲットと、スキル別の訓練信号も必要。実機評価もNoetix E1と特定の知覚構成に限られてて、照明やボール種類、遅延など広い条件の頑健性は提示本文からは確認できない。
実機4タスクの内訳も本文だけだと確認できない感じ？
そう。あと数値は原論文の報告で、こちらで独立再現したわけじゃない。そこは区別しないとね。
なるほどね。でも単一の政策でロングホライズンにスキルをつなげてsim-to-realまでやるのは大きいんだ。
じゃあ私も単一政策で「朝起きる→朝ごはん→大学行く」を連続実行したいな。スキル別critic付きで。
お前の「朝起きる」スキルはまず失敗率が高すぎるだろ。