TL;DREMBL AI LI…
TL;DR
CodeSIFTは、コード生成LLMに対する悪意あるプロンプト（脆弱なコードを誘発するもの）を、既知の脆弱性パターンに依存せずに検出する手法です。影響関数を使って、モデルのパラメータ空間におけるプロンプトの影響を測定し、統計的検定で正常な分布からの逸脱を検出します。3B〜7BパラメータのオープンウェイトモデルでAUROC最大0.98を達成し、静的解析ベースラインを大幅に上回りました。
解説
ねえ智也くん、今日の論文のタイトル、CodeSIFTって何だかかっこいいね！でも影響関数って何？
影響関数は、あるデータ点がモデルの学習にどれだけ影響を与えたかを測る指標だよ。今回はプロンプトがモデルのパラメータに与える影響を測ってるんだ。
なるほど！でも、なんでそんなことするの？普通に脆弱なコードを検出すればいいんじゃない？
それが問題で、既知の脆弱性パターンに頼ると、新しい攻撃や巧妙なプロンプトに対応できないんだ。CodeSIFTはパターンに依存せずに、プロンプトがモデルに与える影響の異常を検出するんだよ。
へえ、つまりプロンプトがモデルを変に動かしてるかどうかを見るってこと？
そう。具体的には、影響関数でプロンプトの影響ベクトルを計算して、それを統計的検定で正常な分布と比較するんだ。逸脱してたら悪意あるプロンプトと判定する。
統計的検定かあ。それって難しそうだけど、結果はどうだったの？
3Bから7BパラメータのオープンウェイトモデルでAUROC最大0.98を達成したんだ。静的解析ベースラインを大幅に上回ってる。
すごい！じゃあもう完璧なの？
いや、まだ限界もあるよ。影響関数の計算はモデルサイズが大きくなるとコストがかかるし、プロンプトの種類によっては検出が難しい場合もある。あと、オープンウェイトモデルに限定されてる。
なるほどね。でも、パターンに頼らないってのは面白いね。これからもっと発展しそう！
そうだね。ただ、影響関数の計算が重いから、実用化にはまだ課題があるかな。
でも、もし軽くなったら、AIセキュリティの強い味方になるね！まるでコードのボディーガードだね。
ボディーガードか…でも、そのボディーガードも訓練が必要だよ。