解説ねえ智也くん、この論文のタ…
TL;DR
JADRは、LLMの応答生成前の内部表現（J-space）を解析し、危険プロンプトと安全プロンプトの分離度をAUCで定量化するプロトコルです。外部評価モデル不要で、量子化やファインチューニングによる安全性変化をモデル間・モデル内で比較できます。6モデル・3量子化水準で検証し、SafetyAUCが内部の危険認識力を統計的に有意に分離することを示しました。
解説
ねえ智也くん、このJADRって論文、タイトルからして難しそうだけど、簡単に言うと何をやってるの？
簡単に言うと、LLMが危険な入力に対してどう反応するか、内部の状態を調べて数値で評価する方法だよ。
内部の状態って、出力される前のやつ？
そう。J-spaceっていう、モデルの中間表現の空間を使って、危険プロンプトと安全プロンプトがどれだけ離れているかをAUCで測るんだ。
AUCってROC曲線のあれ？それで安全性がわかるの？
うん。AUCが高いほど、モデルが内部で危険と安全をうまく区別できているってこと。外部の評価モデルを使わないから、公平に比較できるのが利点。
へー、じゃあ量子化とかファインチューニングしたときの安全性の変化も見られるってこと？
そう。実際に6モデルと3つの量子化水準で検証して、SafetyAUCが統計的に有意に分離できることを示してる。
でも、内部表現だけ見て本当に安全なの？出力が安全でも内部で危険を認識してなかったら意味なくない？
そこは限界で、内部の分離度と実際の出力安全性が完全に一致するとは限らない。あくまで内部の危険認識力を測るプロトコルだから、出力評価と組み合わせる必要がある。
なるほどね。でも、モデルの中身をのぞき見できるって面白いね。まるでAIの心を読んでるみたい！
心を読むっていうより、脳波を測ってる感じかな。