小規模モデルのゼロ精度を活かす「ヒント付きスケーリング則」で下流精度を予測

投稿者: 亜美と智也のAI論文解説 編集部

下流ベンチマーク精度は、小モデルがゼロ点付近だと通常のスケーリング則で外挿しにくい。原論文は正解の一部開示などでベンチマークを易しくする「ヒント」を導入し、ヒント量Hとモデル規模Cの共同則L(C,H)を小モデルで当てはめ、H=0を評価して大モデル精度を予測する。

プロンプト注入に強いLLMへ:SecPOと敵対的訓練で防御強化

投稿者: 亜美と智也のAI論文解説 編集部

Meta-SecAlignのDPOは無防御モデルに近づけるKL正則化のため、適応的なプロンプト注入に弱い。SecPOは参照を「注入除去時と同じ出力」の理想オラクルに置換し、さらに強い注入で敵対的訓練する。論文は適応攻撃の成功率を大幅に下げつつ、良性タスクの性能を維持したと報告している。

RAGの不要な検索を減らす信頼度ベースのエージェント検索学習

投稿者: 亜美と智也のAI論文解説 編集部

本論文は、LLMが各中間状態で「今の情報で進めるか検索するか」を、最終正解だけでなく局所結論の信頼度で監督するGRPO向けプロセス報酬を提案する。検索なしは現状信頼度、検索ありは検索前後の信頼度変化をスコア化し、7つのQAベンチマークで精度と検索効率のトレードオフ改善を報告している。

接触を伴うロボット作業向けにVLAへ可変剛性を追加するCompVLA

投稿者: 亜美と智也のAI論文解説 編集部

CompVLAは、RGB画像と言語からロボットの動きに加えて方向別の剛性と仮想変位を予測し、接触時に柔らかく動きつつ必要な力を出せるようにするVLAです。予測値は幾何インピーダンス制御で実行され、接触の多い3タスクで既存VLAより平均成功率が高いと報告されています。