解説ねえ智也くん、この論文のタ…
TL;DR
推論時計算量を増やす方法として、推論（思考時間増加）とサンプリング（試行回数増加）は内部情報しか使えず頭打ちになる。これに対し、モデルが生成した成果物を外部ツールで観測しフィードバックする「Interaction Scaling」は、接地されたフィードバックと評価により頭打ちを突破できる。コードタスクでは100%合格、ビジュアル成果物では40-74%の欠陥削減を達成。ただし、フィードバックと評価の両方が接地されていなければ効果は見えない。
解説
ねえ智也くん、このブログのタイトル、なんか難しそうだけど「Interaction Scaling」って何？
ああ、簡単に言うと、モデルが生成したものを外部ツールでチェックしてフィードバックする手法だよ。
へー、今までは推論時間増やしたりサンプリング増やしたりしてたんでしょ？それとどう違うの？
推論やサンプリングはモデル内部の情報しか使えないから、ある程度で性能が頭打ちになる。でもInteraction Scalingは外部の接地されたフィードバックを使うから、その壁を突破できるんだ。
接地って何？地面に接続するみたいな？
はは、そうじゃなくて、現実世界のデータやツールと結びつけるって意味。例えばコードタスクなら、生成したコードを実際に実行してテスト結果をフィードバックする感じ。
なるほど！それでどれくらい効果あったの？
コードタスクでは100%合格、ビジュアル成果物では欠陥が40～74%減ったらしい。
すごい！でも欠点とか限界はないの？
あるよ。フィードバックと評価の両方が接地されてないと効果が出ない。片方だけだとダメみたい。
ふーん、じゃあ接地が大事ってことか。でもさ、接地って言葉、なんかアース線みたいで電気屋さんっぽいね。
……お前、それしか言うことないのかよ。