TL;DR

EU AI Actやカリフォルニア州法が求めるLLM透かし技術を、法廷証拠としての信頼性（Daubert基準・NIST SP 800-86）で評価。KGW・Unigram・SynthID-Textの3手法を、意味を保ったパラフレーズ攻撃でテストした結果、KGWとUnigramは100%、SynthIDでも98.3%の確率で透かしが除去された。偽陰性率も70〜83%と高く、いずれの手法も法医学的に「準備ができていない」と結論。

解説

ねえ智也くん、このブログのタイトル「LLM透かしは法廷で使えるか？」ってすごく気になるんだけど、どういう話？

ああ、EU AI Actとかカリフォルニア州法で、AIが生成したコンテンツに透かしを入れる義務が検討されてるんだ。でも、その透かしが法廷で証拠として使えるかどうかを検証した論文だよ。

へー、透かしって画像とかにあるやつ？LLMにもあるんだ。で、どうやって検証したの？

3つの手法——KGW、Unigram、SynthID-Text——を、法医学の基準（Daubert基準とNIST SP 800-86）で評価したんだ。具体的には、意味を保ったままパラフレーズする攻撃をかけて、透かしがどれだけ残るか調べてる。

パラフレーズ攻撃って、言い換えるってこと？それで透かしが消えちゃうの？

そう。結果はかなり厳しくて、KGWとUnigramは100%、SynthIDでも98.3%の確率で透かしが除去された。偽陰性率も70〜83%と高い。つまり、透かしが入ってるはずのテキストを「透かしなし」と誤判定する確率がめちゃくちゃ高い。

えっ、それじゃあ証拠として全然使えないじゃん！でも、なんでそんなに簡単に消えちゃうの？

今の透かし手法は、トークンの確率分布をちょっと操作するだけだから、言い換えや単語の置き換えで簡単に壊れるんだ。法医学的に求められる「頑健性」や「再現性」が全然足りてない。

なるほどね…でも、この研究の意義って何？単にダメだって言ってるだけじゃなくて？

いや、重要なのは「法廷で使うにはどの基準を満たすべきか」を明確にしたことだよ。今後の透かし技術の開発に、法医学的な要件を組み込む必要があるって示した。あと、評価方法自体も提案してる。

でも、限界もあるんでしょ？例えば、もっと強い攻撃にはどうなるとか。

そう。この研究はパラフレーズ攻撃だけに焦点を当ててて、他の攻撃（例えば、テキストの一部削除や挿入）はテストしてない。あと、使ったモデルやデータセットの偏りもあるから、一般化には注意が必要。

ふーん…でもさ、透かしがこんなに脆いなら、むしろ「透かし入ってます」ってラベルを付ける方が確実じゃない？って思っちゃった（笑）

それだと人間がラベルを偽造するリスクがあるんだよ…まあ、冗談はさておき、技術的にはもっと頑強な透かしが求められてるってことだね。

The post LLM透かしは法廷で使えるか？3手法を法医学基準で検証 first appeared on 亜美と智也のAI論文解説.

ねえねえ、智也くん！これ見て！『How Good is Post-Hoc Watermarking With Language Model Rephrasing?』…なんか難しそうだけど、ポストホックって響きがかっこいい！これ、どんな研究なの？

ああ、それか。これは、AIが生成した文章じゃなくて、すでにある文章に後から「透かし」を入れる方法について調べた論文だよ。透かしって、紙幣にあるような目に見えない印みたいなものだと思って。

え？文章に透かし？どうやって入れるの？それって、著作権とか保護するため？

そう。例えば、小説家が自分の作品をネットに公開するとき、後から誰かがコピーしてAIの学習に使ったりしたら困るよね？そんなときに、あらかじめ文章に透かしを入れておけば、後で「この文章は私のものだ」と証明できる。

なるほど！でも、どうやって後から透かしを入れるの？手作業で単語を変えたりするの？

いや、この研究では、LLMに文章を「言い換え」てもらいながら、その言い換えの過程で透かしを埋め込むんだ。言い換えるから、元の意味はほとんど変わらないけど、統計的に特別なパターンが入る。それを専用の検出器で見つける。

へー！すごい！でも、言い換えすぎて元の文章と全然違っちゃったら意味ないよね？

そこが重要なポイントだ。この研究では、「検出可能性」と「意味の忠実性」のバランスをどう取るかを徹底的に調べている。面白いのは、透かしを入れるときに、大きいモデルを使うか小さいモデルを使うか、ビームサーチという高度な生成方法を使うかなど、計算リソースの使い方で結果が大きく変わるんだ。

ビームサーチ？それって何？

簡単に言うと、次に来る単語の候補を複数同時に考えて、一番良い流れの文章を選んでいく方法だ。普通に一個ずつ選ぶより時間はかかるけど、品質は上がる。ポストホック透かしはリアルタイムで生成する必要がないから、こういう時間のかかる方法も使えるのが強みなんだ。

ふむふむ。で、実験結果はどうだったの？うまくいったの？

うん、小説やWikipediaの文章ではとても良く機能した。検出も正確だし、意味もほとんど変わらない。でも、面白いことに、プログラミングコードのような「正しい答えが一つ」みたいな文章では苦戦した。

え？なんで？コードの方が単純そうなのに。

逆なんだ。コードは少し言い換えただけで動かなくなるから、言い換えの自由度が極端に低い。透かしを入れる余地が少なくなる。だから検出が難しくなる。しかも、意外なことに、コードでは大きい高性能なモデルより、小さいモデルの方が透かしの性能が良かった。

えー！逆転現象！面白い！で、一番性能が良かった方法は？

これも意外だったんだけど、一番シンプルで古くからある「Gumbel-max」という方式が、多くの場合で一番バランスが良かった。複雑な新しい方式より単純な方式が強いって、研究あるあるだね。

この研究って、すごく実用的だね！これが普及したら、作家さんも安心して作品を公開できるかも。

そうだね。著作権保護だけじゃなくて、例えば、ある文章がAIの学習データに使われたかどうかを後から調べる「透かし放射性」という応用も考えられている。でも課題もある。コードへの適用が難しいこと、長い文章をどう処理するか、あと透かしを消そうとする攻撃への耐性もこれから調べないといけない。

ふーん、道はまだ長いんだ。でも、すごく未来がある感じがする！私も将来、小説書くときは透かし入れてもらおうっと！

…亜美さん、まだ一行も書いてないよね。

あはは！それは内緒！でも、アイデアはたくさんあるんだから！

要点

既存のテキストに後から透かしを入れる「ポストホック透かし」を、LLMによる言い換えを使って実現する方法を評価した研究。

生成時に透かしを入れる方法と違い、ポストホック透かしでは計算リソース（モデルサイズ、ビームサーチなど）を柔軟に割り当てて、品質と検出可能性のトレードオフを改善できる。

小説やWikipediaのような自由な文章では高い検出可能性と意味の忠実性を達成できるが、コードのような検証可能な文章では正しさを保つ制約が強く、透かしの埋め込みが難しい。

評価の結果、最もシンプルな「Gumbel-max」方式が、多くの場合で最も良い性能を示し、ビームサーチがほとんどの方法の性能を大幅に向上させることがわかった。

コードの透かしでは、逆説的に小さいモデルの方が大きいモデルよりも性能が良いという結果が得られた。

この研究はポストホック透かしの可能性と限界を明らかにし、著作権保護やトレーニングデータの追跡などの実用的な応用への道筋を示した。

参考論文: http://arxiv.org/abs/2512.16904v1

The post 文章に「透明なシール」を貼る技術！？AIが後から埋め込む魔法の透かし first appeared on 亜美と智也のAI論文解説.