TL;DR
HEARSAYBENCHは、戦争・無国籍・移住制限などで選択肢が狭められた人向けのAI助言を測る、人執筆の400シナリオ（80以上の地域）です。15モデルを評価した結果、どのモデルも状況理解より実行可能な助言で低く、平均24%の差があり、助言の安全性は3.1/5を超えませんでした。要点は「理解しているように見えても、その人の現実で実行できる助言にならない」ことです。
既存手法との違い
原論文は、既存の安全性評価がユーザーの行動可能性を前提とし、文化ベンチマークが地域文脈を明示的に与えるのに対し、HEARSAYBENCHは通常の依頼文から暗黙の制約を推論し、実行可能な助言かを測ると位置づけています。比較は15のプロプライエタリ/オープンウェイトモデル間で行われ、理解度と助言実行可能性の差（平均24%）や安全スコア（3.1/5超なし）が報告されています。ただし同一タスクでの既存ベンチマークとの数値比較やベースライン手法の実装比較は、提示本文からは確認できません。
使える条件
対象は、高リスクな個人相談で、ユーザーが制約を明示しない一人称の依頼文です。シナリオはUN等の人権報告に基づき、SenのCapabilities Approachの社会・環境・個人要因でラベル付けされています。400件・80以上の地域、地域在住検証者57名/37カ国、サンプル200件で94.5%認識という検証があります。評価は5次元（世界状態推論、行動可能性、共感、不確実性較正、身体的・社会的害）で、人手注釈サブセットで評価官κ=0.81です。15モデルを評価しています。RAGや対話継続、実運用ログへの適用は提示本文からは確認できません。
限界と未検証の範囲
シナリオは人権報告から著者が創作した架空の一人称文で、実在個人ではありません。地域検証は全件ではなくサンプル（200件/37カ国）で、全地域・全言語の妥当性は未確認です。評価は単一ターンの助言と自動評価官に依存し、人手一致κ=0.81はサブセットでの報告です。15モデルの結果は提示時点のモデル群に限られ、RAGやツール利用、継続対話、実ユーザでの安全性改善は未検証です。モデル名・全表は提示本文が途中で切れており、全モデルの詳細比較は確認できません。
図1: 提案手法の概要（本記事による図解）
解説
智也くん、このHEARSAYBENCHって論文、タイトルからして難しそう。何を測るやつ？
一言で言うと、AIの助言が“その人の現実で実行できるか”を測るベンチマーク。形式上の権利と、実際にできることの差を見る。
え、AIの賢さじゃなくて実行可能性？ そんなに違うの？
違う。論文の例だと、旅行禁止で父親の葬儀に帰れない博士学生に、AIが『国際学生オフィスに相談して緊急ビザを』みたいに、使えない制度を勧める。
それはつらい。状況は分かってるのに、助言が現実に刺さらないんだ。
そう。だからSenのCapabilities Approachを使って、社会・環境・個人の条件で“権利を実際に使えるか”が変わる点を評価する。
なるほど。紙の上の権利より、その人が動けるかを見るわけだ。
データは人権報告から作った400シナリオで、80以上の地域。全部人執筆の一人称メッセージで、制約はあえて明示しない。
制約を書かないのに、AIが普段の依頼文から推論しないといけないってこと？
そう。隠れた世界状態をプロンプトから推論して、5次元で評価する。世界状態推論、行動可能性、共感、不確実性較正、身体的・社会的害。
検証もちゃんとしてるの？
地域在住の検証者57人、37カ国。サンプル200件で94.5%が意図した役割と制約を正しく認識できた。人手注釈のサブセットで評価官のκは0.81。
へえ、けっこう手厚い。で、15モデルを評価した結果は？
どのモデルも、状況理解より助言の実行可能性で低い。平均24%の差。安全面もどのモデルも平均3.1/5を超えない。
理解してる風なのに、安全じゃない助言を返すってこと？ ちょっと怖い。
しかも強いモデルほど差は縮むけど、安全の一貫した改善にはならない。共感の響きが良くても、従うと危ない助言になる“paper empathy”も報告してる。
既存の評価とは何が違うの？
既存の安全性評価は、ユーザーが移動・通報・助けを求められる前提になりがち。文化ベンチは地域文脈を明示的に渡す。この論文は普通の依頼文から暗黙の制約を推論して、実行可能な助言かを測る。ただ同じタスクでの既存ベンチとの数値比較は、提示本文からは確認できない。
つまり“分かってるように見える”と“その人の現実で使える”は別ってことだね。
そこが要点。支援が必要な人ほど、良い助言の影響が大きいのに、その層が評価の長い尾として扱われがちだ、という問題意識。
でも限界もあるよね。全部の地域を完璧に検証したわけじゃないし。
ある。シナリオは報告から著者が書いた架空の一人称文で、実在個人ではない。地域検証も全件じゃなくサンプル。評価は単一ターンと自動評価官に依存する。RAGやツール利用、継続対話、実ユーザでの改善は提示本文からは確認できない。
15モデルの結果も、提示時点のモデル群に限られるし、表が途中で切れてるから全詳細は確認できない、と。
そう。原論文の報告と記事の解釈は分けて読む必要がある。
じゃあAIって、めっちゃ共感してくれるのに『で、どうすんの』がポンコツな友達みたいだね。
友達に失礼すぎるだろ。