解説ねえ智也くん、この論文のタ…
TL;DR
LLMによるコードレビューに説明(XAI)を追加すると、開発者の信頼感は向上するが、AIの推奨への同意率は必ずしも上がらない。詳細な説明があると開発者はむしろ批判的に検討し、同意率は中程度の説明で最高(89.22%)となった。説明なしでは信頼・同意ともに最低。
解説
ねえ智也くん、この論文「XAIがコードレビューの信頼に与える影響」って面白そう!何を調べたの?
LLMがコードレビューをするときに、説明(XAI)を追加すると開発者の信頼がどう変わるかを実験したんだ。34人参加してくれたよ。
へえ、説明があると信頼が上がるってこと?
そう単純じゃないんだ。説明があると確かに信頼感は向上するんだけど、AIの推奨に同意する割合は必ずしも上がらない。
え、どういうこと?説明があるのに同意しないの?
詳細な説明があると、開発者はむしろ批判的に検討するようになるみたい。同意率が一番高かったのは中程度の説明で89.22%だった。説明なしだと信頼も同意も最低だったよ。
なるほどね。説明が多すぎると逆効果ってこと?実験はどうやってやったの?
参加者に4つのコードレビュー課題をやってもらって、それぞれ説明なし・簡潔・詳細・中程度の4パターンの説明をランダムに提示したんだ。その後、信頼度と同意率をアンケートで測った。
評価はどうだったの?有意差とか出た?
信頼感は説明ありの方が有意に高かったけど、同意率は説明の種類によって有意差が出た。特に中程度の説明が一番効果的だったんだ。
この研究の意義って何だろう?現場でどう使えるの?
AIの説明をただ付け加えればいいわけじゃなくて、適切な粒度が重要だってことが分かった。コードレビューツールの設計に役立つと思う。
でも限界もあるんでしょ?
そうだね。参加者が学生中心で実務経験が少ないこと、タスクが限定的だったこと、あと説明の内容自体の質が統一されてなかった可能性もある。
ふーん…じゃあ、智也くんに中程度の説明でコードレビューしてもらおうかな。でも、あんまり説明されると逆に疑っちゃうかもね(笑)
お前のコードは説明なしでも十分怪しいから、気にしなくていいよ。