TL;DR
FineWeb2のスロバキア語26.5M文書を対象に、LLMを分類器ではなく読み取り専用APIで調査する「コーパスデバッガ」として使い、7件の知見を発見。各知見を安価な実行可能テストに変換し、母語話者の盲検検証で6/7件を支持、5.32%の機械生成コンテンツファームも確認した。一方、最良の静的サンプリングベースラインはより多くの選択子を半額以下で検証しており、エージェントの価値は正確な普及率・精度推定・再利用可能なテストにある。
解説
ねえ智也、この論文タイトル「スロバキア語WebコーパスをLLMエージェントで監査し実行可能テスト化」って、まず何が問題なの？ スロバキア語のWebコーパスって大きいだけでしょ？
大きいほど品質の問題も埋もれる。今回はFineWeb2のスロバキア語26.5M文書が対象。何が混ざってるか、人手だけで見るのは無理。
26.5M…多すぎ。で、LLMに分類させるの？
そこが違う。LLMを分類器じゃなくて、読み取り専用APIでコーパスを調べる「コーパスデバッガ」として使う。仮説を立てて、検索して、根拠を集める感じ。
なるほど、分類ラベルを貼るんじゃなくて、探偵みたいに調査するんだ。で、何か見つかった？
7件の知見。たとえば機械生成っぽいコンテンツファームも確認されて、推定5.32%だった。見つけた知見は、それぞれ安価に実行できるテストに変換してる。
テストにするのいいね。一度見つけた問題を、次から自動でチェックできるもんね。
そう。で、そのテストを母語話者が盲検で検証して、6/7件は支持された。
6/7ならかなり強いじゃん。じゃあLLMエージェント最強？
そう単純でもない。静的なサンプリングだけのベースラインは、より多くの選択子を半額以下で検証してる。
え、安いのにたくさん見るの？ じゃあエージェントいらなくない？
全部を置き換えるわけじゃない。エージェントの価値は、正確な普及率や精度の推定、それと再利用できるテストを作れること。ベースラインは広く安く見るのは強い。
なるほど、広く安く拾うのと、深く調べてテスト化するのは役割が違うのか。制限は？
対象はスロバキア語だし、知見も7件。検証も6/7で全部じゃない。コストや再現性の面でも、何に使うかは選ぶ必要がある。
ふむふむ。でも「見つけたら終わり」じゃなくて、テストとして残すのが大事なんだね。
そこが一番実用的。監査の結果を、次のコーパス更新で再利用できる。
じゃあ私も明日から冷蔵庫をコーパスデバッガーとして監査して、機械生成プリンを見つけるね。
冷蔵庫に読み取り専用APIはないし、そのプリンはたぶん人間が買ったやつだ。