解説ねえ智也くん、この論文のタ…
TL;DR
EU AI Actやカリフォルニア州法が求めるLLM透かし技術を、法廷証拠としての信頼性（Daubert基準・NIST SP 800-86）で評価。KGW・Unigram・SynthID-Textの3手法を、意味を保ったパラフレーズ攻撃でテストした結果、KGWとUnigramは100%、SynthIDでも98.3%の確率で透かしが除去された。偽陰性率も70〜83%と高く、いずれの手法も法医学的に「準備ができていない」と結論。
解説
ねえ智也くん、このブログのタイトル「LLM透かしは法廷で使えるか？」ってすごく気になるんだけど、どういう話？
ああ、EU AI Actとかカリフォルニア州法で、AIが生成したコンテンツに透かしを入れる義務が検討されてるんだ。でも、その透かしが法廷で証拠として使えるかどうかを検証した論文だよ。
へー、透かしって画像とかにあるやつ？LLMにもあるんだ。で、どうやって検証したの？
3つの手法——KGW、Unigram、SynthID-Text——を、法医学の基準（Daubert基準とNIST SP 800-86）で評価したんだ。具体的には、意味を保ったままパラフレーズする攻撃をかけて、透かしがどれだけ残るか調べてる。
パラフレーズ攻撃って、言い換えるってこと？それで透かしが消えちゃうの？
そう。結果はかなり厳しくて、KGWとUnigramは100%、SynthIDでも98.3%の確率で透かしが除去された。偽陰性率も70〜83%と高い。つまり、透かしが入ってるはずのテキストを「透かしなし」と誤判定する確率がめちゃくちゃ高い。
えっ、それじゃあ証拠として全然使えないじゃん！でも、なんでそんなに簡単に消えちゃうの？
今の透かし手法は、トークンの確率分布をちょっと操作するだけだから、言い換えや単語の置き換えで簡単に壊れるんだ。法医学的に求められる「頑健性」や「再現性」が全然足りてない。
なるほどね…でも、この研究の意義って何？単にダメだって言ってるだけじゃなくて？
いや、重要なのは「法廷で使うにはどの基準を満たすべきか」を明確にしたことだよ。今後の透かし技術の開発に、法医学的な要件を組み込む必要があるって示した。あと、評価方法自体も提案してる。
でも、限界もあるんでしょ？例えば、もっと強い攻撃にはどうなるとか。
そう。この研究はパラフレーズ攻撃だけに焦点を当ててて、他の攻撃（例えば、テキストの一部削除や挿入）はテストしてない。あと、使ったモデルやデータセットの偏りもあるから、一般化には注意が必要。
ふーん…でもさ、透かしがこんなに脆いなら、むしろ「透かし入ってます」ってラベルを付ける方が確実じゃない？って思っちゃった（笑）
それだと人間がラベルを偽造するリスクがあるんだよ…まあ、冗談はさておき、技術的にはもっと頑強な透かしが求められてるってことだね。