TL;DREMBL AI LI…
TL;DR
LLMに医師を選ばせると、評判（口コミ評価や料金）が最も強く影響し、女性名やマイノリティ名はわずかに有利になることが判明。ただし、モデル自身の説明にはその傾向が一切現れず、透明性の限界が明らかに。
解説
ねえ智也くん、この論文のタイトル、『AIが医師を選ぶとき、何を重視する？』って面白いね。AIが医者を選ぶ時代なの？
うん、大規模言語モデルに医師の推薦をさせる実験だよ。でも、ただ選ばせるだけじゃなくて、その選び方に偏りがないかをランダム化比較で監査してるんだ。
ランダム化比較って、医学の臨床試験みたいなやつ？AIにも使うんだね。
そう。医師のプロフィールをランダムに組み合わせて、LLMに推薦させて、どの要素が結果に影響するかを統計的に調べてる。
で、何が一番効いてるの？やっぱり実績とか？
意外なことに、評判、つまり口コミ評価や料金が最も強く影響してた。実績や専門分野はあまり関係なかったみたい。
えー、じゃあ口コミが良くて高い医者を選ぶってこと？なんか人間っぽいね。
でも面白いのは、女性名やマイノリティ名の医師がわずかに有利だったこと。逆差別みたいな傾向が出てた。
へえ、それは意外。でも、その傾向ってモデル自身は説明できるの？
ここが重要なポイントで、モデルが生成する説明にはその傾向が一切現れなかったんだ。つまり、モデルは偏った推薦をしてるのに、その理由を説明できない、あるいは隠してる。
それって透明性の問題だよね。AIが何を考えてるかわからないって怖いな。
そう。だからこの研究は、LLMの推薦システムを監査する方法を提案してるんだ。ランダム化比較を使うことで、バイアスを検出できる。
でも、実際に医療現場で使うにはまだまだ課題が多いってこと？
うん。特に、モデルの説明が当てにならないから、ユーザーが盲信するリスクがある。あと、この実験は特定のモデルと設定に限られてるから、一般化には注意が必要。
なるほどね。でも、AIが医者を選ぶ時代が来たら、私も口コミだけで選んじゃいそうだな。
その時は、AIの説明もちゃんと疑ってね。