食事画像に似た注釈付き事例を検索し視覚言語モデルの栄養推定を改善するNutriVisRAG

投稿者: 亜美と智也のAI論文解説 編集部

NutriVisRAGは、食事画像の栄養推定で、クエリに視覚的に似た栄養注釈付き食事画像を検索し、その画像と注釈をVLMのプロンプトに加える推論時RAGです。微調整なしで精度改善を狙えますが、96構成中56で主誤差が改善し、効果はプロンプトやモデル・検索器に依存します。

未来を1回で予測する世界モデルで実時間マルチモーダル移動を効率化

投稿者: 亜美と智也のAI論文解説 編集部

本論文は、ロボットナビゲーション向けに「1ステップ生成」の軽量な世界モデルを提案する。3D U-Netと時空間アテンションで将来観測をまとめて予測し、推論遅延を大幅に下げる。さらにCEMベースの計画器とアンカー初期化を組み合わせ、画像・言語・点ゴールを扱う。

自然言語から報酬機械を生成し画像観測で接地するRM-VLMの提案

投稿者: 亜美と智也のAI論文解説 編集部

RM-VLMは、自然言語のタスク記述からLLMで報酬機械(RM)を生成し、VLMで画像観測上の命題を接地してRM遷移を駆動する。VLMラベルの誤りに備えてRM状態信念を維持し、GVLによる密報酬を追加する。3領域で既存VLMベース報酬手法より成功率が高いと報告されているが、提示本文に数値はない。

ロボット分解VLAの後訓練を改善するPACER:過程証拠で行動チャンクを再重み付け

投稿者: 亜美と智也のAI論文解説 編集部

PACERは、ロボット分解向けVLAの後訓練で、自律ロールアウト・人間修正・補充クリーン演示を型付きデータとして扱う。成功/失敗の二値だけでなく、目標への進捗・近接・終端領域・停止一致などの過程証拠とデータの役割で有効なaction chunkの重みを調整し、ネイティブ教師あり行動損失を保つ。