TL;DR

LLMによるコードレビューに説明(XAI)を追加すると、開発者の信頼感は向上するが、AIの推奨への同意率は必ずしも上がらない。詳細な説明があると開発者はむしろ批判的に検討し、同意率は中程度の説明で最高(89.22%)となった。説明なしでは信頼・同意ともに最低。

解説

AMI HAPPY

ねえ智也くん、この論文「XAIがコードレビューの信頼に与える影響」って面白そう!何を調べたの?

TOMOYA NEUTRAL

LLMがコードレビューをするときに、説明(XAI)を追加すると開発者の信頼がどう変わるかを実験したんだ。34人参加してくれたよ。

AMI SURPRISED

へえ、説明があると信頼が上がるってこと?

TOMOYA NEUTRAL

そう単純じゃないんだ。説明があると確かに信頼感は向上するんだけど、AIの推奨に同意する割合は必ずしも上がらない。

AMI SURPRISED

え、どういうこと?説明があるのに同意しないの?

TOMOYA NEUTRAL

詳細な説明があると、開発者はむしろ批判的に検討するようになるみたい。同意率が一番高かったのは中程度の説明で89.22%だった。説明なしだと信頼も同意も最低だったよ。

AMI HAPPY

なるほどね。説明が多すぎると逆効果ってこと?実験はどうやってやったの?

TOMOYA NEUTRAL

参加者に4つのコードレビュー課題をやってもらって、それぞれ説明なし・簡潔・詳細・中程度の4パターンの説明をランダムに提示したんだ。その後、信頼度と同意率をアンケートで測った。

AMI HAPPY

評価はどうだったの?有意差とか出た?

TOMOYA NEUTRAL

信頼感は説明ありの方が有意に高かったけど、同意率は説明の種類によって有意差が出た。特に中程度の説明が一番効果的だったんだ。

AMI HAPPY

この研究の意義って何だろう?現場でどう使えるの?

TOMOYA NEUTRAL

AIの説明をただ付け加えればいいわけじゃなくて、適切な粒度が重要だってことが分かった。コードレビューツールの設計に役立つと思う。

AMI HAPPY

でも限界もあるんでしょ?

TOMOYA NEUTRAL

そうだね。参加者が学生中心で実務経験が少ないこと、タスクが限定的だったこと、あと説明の内容自体の質が統一されてなかった可能性もある。

AMI HAPPY

ふーん…じゃあ、智也くんに中程度の説明でコードレビューしてもらおうかな。でも、あんまり説明されると逆に疑っちゃうかもね(笑)

TOMOYA NEUTRAL

お前のコードは説明なしでも十分怪しいから、気にしなくていいよ。