スタンプの裏に隠れた悪意を見抜け！AIが配信チャットの守護神になる話

いや、全然違う。これはTwitchっていうライブ配信サイトで、荒らしとかの「有害なコメント」をどうやってAIで見つけるかっていう研究だよ。

それが難しいんだ。Twitchには「エモート」っていう独自の絵文字文化があって、普通の言葉とエモートを組み合わせて嫌がらせをしてくるんだよ。言葉だけ見れば普通でも、エモートのせいで悪口になることもある。

そう。例えば、特定の配信者のコミュニティだけで通じる「バカにする意味のエモート」とかがあるんだよ。これを理解しないと、本当の有害性は見抜けない。でも、人間が24時間監視するのは精神的にもきついし、追いつかないんだ。

その通り。この論文では「ToxiTwitch」っていうハイブリッドな仕組みを提案してるんだ。まず、LLMを使ってテキストとエモートを「エンベディング」っていう、コンピュータが理解しやすい数字の羅列に変換するんだよ。

エンベディング。簡単に言うと、言葉や画像の「意味」を座標上の位置として表す技術のことだね。似た意味のものは近くに配置される。これを使うと、エモートが持つニュアンスも計算できるようになるんだ。

そこがこの研究の賢いところで、LLMは「意味を抽出する」ところだけに使うんだ。その後の「有害かどうか」の判定は、ランダムフォレストとかSVMっていう、すごく動作が軽い伝統的な機械学習モデルに任せるんだよ。だから「ハイブリッド」なんだ。

実験では、特定のチャンネルで学習させた場合、約80%の精度で有害コメントを当てられたらしい。従来の方法より13%も向上したんだって。しかも、1つのメッセージを判定するのにかかる時間はたったの60ミリ秒。これならリアルタイムでも使えるね。

そうだね。ただ、課題もある。LLMは世界中で使われる有名なエモートは知ってるけど、特定の配信者だけが使ってる超マニアックなエモートはまだ理解しきれていないんだ。そこをどう学習させるかが今後の鍵だね。

……文脈によっては、俺に対する精神的攻撃として正しく「有害」判定されるだろうな。