EC検索の精度を上げるSSR-GRPO：セマンティックIDでノイズを減らす新手法

TL;DR

ECサイトの商品検索で、クエリと商品の意味的な一致度を測る際、従来のR-GRPOはLLMによる評価に依存し、ノイズや偏りが課題でした。SSR-GRPOは、商品を離散的なセマンティックID（SID）で表現し、密ベクトルと組み合わせた二重の視点で報酬を計算。さらにSIDの階層構造を利用したハードネガティブマイニングとマスキングで、学習を安定化・高精度化します。オフライン・オンライン実験で有効性を確認し、大規模ECプラットフォームにデプロイ済みです。

解説

ねえ智也くん、このブログのタイトル見たんだけど、SSR-GRPOって何？なんかすごそうだけど、さっぱりわかんない。

ああ、それはECサイトの商品検索の精度を上げる新しい手法だよ。従来のR-GRPOっていうのがあって、それを改良したものなんだ。

R-GRPO？それも初めて聞いた。そもそもGRPOって何？

GRPOは強化学習の一種で、LLMを学習させるための手法だよ。R-GRPOはその中でも報酬をLLMで評価するタイプなんだ。

報酬をLLMで評価？それってどういうこと？

商品検索で、クエリと商品がどれだけ意味的に合ってるかをLLMに点数付けさせるんだ。でも、LLMの評価にはノイズや偏りがあって、それが問題だったんだよ。

なるほど、AIが採点するってことか。でも、それだと正確じゃないこともあるんだね。

そう。そこでSSR-GRPOでは、商品をセマンティックID（SID）っていう離散的な記号で表現するんだ。

セマンティックID？なんだか難しそう。

簡単に言うと、商品の意味を表すIDみたいなものだよ。それを密ベクトルと組み合わせて、二重の視点で報酬を計算するんだ。

二重の視点？つまり、IDとベクトルの両方で評価するってこと？

そう。それによって、LLMの評価だけに頼るよりもノイズが減るんだ。さらに、SIDの階層構造を利用して、ハードネガティブマイニングとマスキングもやってるんだよ。

ハードネガティブマイニング？マスキング？もう全然わかんないよ。

ハードネガティブマイニングは、似ているけど正解ではない商品をわざと学習に使うことで、モデルがより細かい違いを学べるようにする手法だよ。マスキングは、SIDの一部を隠して学習させることで、モデルがより頑健になるようにするんだ。

へえ、それで精度が上がるんだ。実験ではどうだったの？

オフラインとオンラインの両方で実験して、有効性を確認したんだ。実際に大規模なECプラットフォームにデプロイされてるんだよ。

すごい！もう実用化されてるんだ。でも、何か課題とかはないの？

うーん、SIDの生成にコストがかかるかもしれないし、階層構造がうまく作れないカテゴリもあるかもしれない。あと、LLMの評価に依存する部分が完全になくなったわけではないから、まだ改善の余地はあると思う。

なるほどね。でも、すごく賢い方法だと思うよ。私でもなんとなくわかった気がする。

それはよかった。もし興味があれば、論文を読んでみるといいよ。

でも、論文は英語でしょ？私には無理だな。智也くんが翻訳してくれたら読むけど。

それは勘弁してくれ。