TL;DR

MASTEは、LLMが苦手とするAspect-Sentiment Triplet Extraction(ASTE)を4つのエージェント(Aspect抽出、Opinion抽出、Sentiment推論、Consistency Check)に分解し、逐次的に処理する訓練不要のパイプライン。単一パス生成で起きるスパン境界誤りやハルシネーションを抑制し、GPT-4oベースで従来のゼロショット手法を大幅に上回るF1スコアを達成。

解説

AMI HAPPY

ねえ智也くん、このブログのタイトル見て!「LLMのゼロショットASTEを改善するマルチエージェントパイプラインMASTE」って書いてあるんだけど、ASTEって何?

TOMOYA NEUTRAL

ASTEはAspect-Sentiment Triplet Extractionの略で、ある文から「対象(アスペクト)」と「意見(オピニオン)」と「感情(センチメント)」の三つ組を抽出するタスクだよ。例えば「このレストランのパスタは美味しい」から「パスタ」「美味しい」「ポジティブ」を抜き出す感じ。

AMI SURPRISED

なるほど!でもLLMってすごいのに、それが苦手なんだ?

TOMOYA NEUTRAL

そう。単一パスで生成すると、スパンの境界を間違えたり、ハルシネーションが起きたりするんだ。そこでMASTEは、タスクを4つのエージェントに分解して逐次的に処理する訓練不要のパイプラインを提案してる。

AMI HAPPY

4つのエージェント?どんな役割なの?

TOMOYA NEUTRAL

まずAspect抽出エージェントが対象を抜き出し、次にOpinion抽出エージェントが意見を抜き出す。その後Sentiment推論エージェントが感情を判定し、最後にConsistency Checkエージェントが全体の整合性を確認する。これでエラーが減るんだ。

AMI HAPPY

へえ、段階を踏むことで精度が上がるってわけか。評価はどうだったの?

TOMOYA NEUTRAL

GPT-4oベースで従来のゼロショット手法を大幅に上回るF1スコアを達成してる。特にスパン境界の誤りが減ったのが大きいみたい。

AMI SURPRISED

すごいじゃん!でも、何か限界とかあるの?

TOMOYA NEUTRAL

エージェント間の依存関係が強いから、最初のAspect抽出でミスがあると後続に影響する。あと、LLMの呼び出し回数が増えるのでコストがかかる点も課題だね。

AMI HAPPY

なるほどね…でも、これって人間が仕事を分担するのと似てるね。私もレポートを4人で分担すれば楽できるかな?

TOMOYA NEUTRAL

その前に、まず自分でやれよ。