TL;DREMBL AI LI…
TL;DR
SAEVerbalizerは、SAEのデコーダ方向をLLMの表現に注入し、下流層をファインチューニングすることで、特徴の自然言語説明を直接生成するフレームワークです。外部の活性化例を収集する従来手法と比べ、計算効率が高く、未見の特徴への一般化や、異なるSAE辞書・LLMへの転移も可能です。
解説
ねえ智也くん、このSAEVerbalizerって論文、タイトルからして面白そう！でもSAEって何だっけ？
SAEはスパースオートエンコーダーの略で、ニューラルネットの内部表現を解釈しやすくするための手法だよ。特徴を疎なベクトルで表現するんだ。
なるほど！で、その特徴を言葉で説明するってこと？でも従来もそういうのあったんじゃない？
うん、従来は活性化例を集めてLLMに説明させてたんだけど、それって計算コストが高いし、見たことのない特徴には弱かったんだ。
じゃあSAEVerbalizerはどうやって説明を生成するの？
SAEのデコーダ方向をLLMの表現に直接注入して、下流層をファインチューニングするんだ。そうすると、外部の例を集めなくても説明を直接生成できるようになる。
へえ、デコーダ方向ってのがポイントなんだね。でもそれってうまくいくの？
実験では、従来手法と同等かそれ以上の精度で説明を生成できたよ。しかも計算効率が高いから、大規模なモデルにも適用しやすい。
すごい！でも、やっぱり限界もあるんでしょ？
そうだね。ファインチューニングが必要だから、LLM自体は固定できないし、説明の品質は学習データに依存する部分がある。あと、複雑な特徴だと説明が曖昧になることもあるみたい。
でも、未見の特徴への一般化や、異なるSAE辞書・LLMへの転移ができるってのは大きいよね。これって将来、AIの解釈可能性の標準になるかも？
可能性はあるね。特に、モデルの内部を直接言語化できるのは、安全面でも重要だと思う。
じゃあ、私でも使えるように簡単なツールにしてくれたら嬉しいな！でも、その前に私がAIを理解するのが先かもね。
その意欲は買うけど、まずはSAEの基礎から勉強したほうがいいよ。