AI助言の実行可能性を測るHEARSAYBENCH:権利と現実の差
HEARSAYBENCHは、戦争・無国籍・移住制限などで選択肢が狭められた人向けのAI助言を測る、人執筆の400シナリオ(80以上の地域)です。15モデルを評価した結果、どのモデルも状況理解より実行可能な助言で低く、平均24%の差があり、助言の安全性は3.1/5を超えませんでした。
HEARSAYBENCHは、戦争・無国籍・移住制限などで選択肢が狭められた人向けのAI助言を測る、人執筆の400シナリオ(80以上の地域)です。15モデルを評価した結果、どのモデルも状況理解より実行可能な助言で低く、平均24%の差があり、助言の安全性は3.1/5を超えませんでした。
対話型LLMでは、ユーザーが応答を見て次の依頼や難易度を変えるため、モデル自身が評価用プロンプト分布を変えます。固定プロンプトのオフライン評価は「共通分布効果」、ユーザーをランダム割付するA/Bテストは「誘導分布効果」を推定し、大標本でも一致せず順位が反転し得ます。
Al-Ghasaliは、閉じたフィクフ章のHorn節ルールを決定性FSAに畳み込み、オフライン前計算後にO(1)で判定する。FSAがLLMを制御し、文法拘束デコード等で判断・事実・意味反転の幻覚を防ぐ設計を数学的に示す。実装評価や数値結果は提示本文からは確認できない。
BrainWorldは、sMRIを被験者ごとの解剖学的文脈として条件付け、VAEで圧縮した全脳4D fMRIの潜在系列を条件付きDiTで生成する枠組みです。22データセットで最大400フレームの生成、生成例による下流タスク拡張、表現転移を評価しています。
検証器が「失敗」は高信頼に判定できる一方「成功」は未確認になり得る片側検証可能性(OSV)では、成功例を正解として強化学習すると抜け道を報酬化し得る。NOPOは信頼できる負例だけを抑制し、同じrollout群の非偽陽性候補の割合で更新量を調整する。
PixVidは、事前学習済みの潜在動画拡散モデルのDiTを保ったまま、VAEデコーダを畳み込みのDetailerヘッドに置き換え、各フレームを画素空間で直接生成する。x予測と大きめのノイズシフトが品質の鍵。
医療データ不足に対し、Phi-2をMedQuadでQLoRA微調整し、少数ショットで合成臨床データを生成。小規模バイタルサインデータのLSTM予測に使うと、論文では分類精度が89.0%から93.7%に向上し、適合率・再現率・F1も改善した。ただし単一設定での評価で、臨床安全性や汎化は未検証。
LLMエージェントのバッチ実行では、推論と環境操作が交互に起きるため、個々のリクエスト遅延より「全タスク完了までのmakespan」が開発効率を左右します。
CaCTは、Conformal Predictionの予測セットをクラスごとの制約と適応的なペナルティ重みで学習する手法です。大規模・不均衡な分類でも、カバレッジを保ちつつより小さく情報量の多い予測セットを目指します。既存の一様なペナルティではクラス別の効率化が難しい点に対応します。
DiffDiffは、未来のうち履歴から再現しやすい成分を拡散過程で徐々に抑え、履歴だけでは決めにくい不確実成分にモデル容量を寄せる時系列予測手法です。前向き過程を2階差分へ段階的に移し、履歴の値と差分を段階適応ゲートで条件付けます。終端は標準ガウスに近づき既存サンプラーと互換。