ロボットVLAに短期動画と長期言語の二層メモリを組み込むMEM

投稿者: 亜美と智也のAI論文解説 編集部

MEMは、ロボットVLAの記憶を短期の動画ベース記憶と長期の言語ベース記憶に分ける手法です。動画エンコーダで直近の密な観測を圧縮し、高レベル方針が意味的な出来事を言語メモリとして更新します。最大15分の長期的タスクや自己遮蔽、失敗からの文脈内適応を狙います。

テキストと音声の自動キーフレーズ抽出をLLMまで整理するレビュー

投稿者: 亜美と智也のAI論文解説 編集部

本論文は、テキストと音声を対象に、自動キーフレーズ抽出とアノテーションの理論・手法・課題を整理したレビューです。統計的手法から機械学習、LLM、end-to-end音声処理への流れを示し、低資源言語、マルチモーダル融合、生成手法の評価が今後の課題だと述べています。

柔らかい面に物を置く3D配置を、接触シミュレーションで現実的にするDCAP

投稿者: 亜美と智也のAI論文解説 編集部

既存の言語誘導3D配置は最終6DoF姿勢を直接予測し、柔らかい支持面や接触を無視しがちです。DCAPは、プロンプト・シーン・物体メッシュから支持面・スケール・粗い向き・材質役割・粒子を決めた「リリース状態」を作り、剛体–変形シミュレータで重力・摩擦下に落ち着かせて最終姿勢と診断・可否を返します。

ヒューマノイドの多方向悪路歩行を多視点深度で安定化する二段階学習

投稿者: 亜美と智也のAI論文解説 編集部

RPLは、地形別の専門家を特権高さマップで訓練し、前後カメラの深度入力を用いる単一Transformer方策へ蒸留する二段階手法です。速度指令に応じた深度特徴スケーリング(DFSV)とランダム側面マスク(RSM)で、非対称な多視点入力や未見の地形幅に対応します。