TL;DR
10,000超のツールから必要なものを選ぶ問題に対し、Qwen3（1.7B/4B/8B）をSFT＋RLで訓練し、指示をサブステップに分解→外部検索器で候補取得→必要ツールを選択するPlan–Retrieve–Selectを学習させる研究。ToolBenchでは8Bの訓練後モデルがLlama-4-Maverick（402B）のプロンプト操作を上回ると報告。学習済みモデルはG2、Gorilla、CRAFT、TaskBenchへ再学習なしで転移し、BM25で訓練してもCOLTに切替可能。ただし各サブステップが1ツールで独立という前提で、依存タスクや日本語環境は本文から未確認。
既存手法との違い
原論文は、既存のツール選択を単発の検索ランキングとして扱う手法（BM25、COLT、Sentence-BERTベースのToolBench検索器など）や、Claude/ChatGPTなどの商用大規模LLMをプロンプトで検索器の制御に使う手法と対比している。本研究は小規模オープンモデルをSFT＋RLで訓練し、同じモデルがPlanとSelectを担う点が違い。実験ではQwen3のBase/SFT/SFT+RLを比較し、ToolBench G3でQwen3-8Bの訓練後モデルがLlama-4-Maverick（402B）のプロンプト操作を上回ると報告。提示本文は途中までで、全比較表・数値・統計的有意差は確認できない。
使える条件
想定入力は、複数ツールを要するユーザー指示と、モデルの文脈に入りきらない大規模ツールコーパス。各サブステップは1つのツールで解け、サブステップ間は独立という前提。検索器はサブステップ文に対してツールをスコアでき、閾値τと上位Kで候補を絞れる必要がある（既定τ=3、K=15）。訓練はToolBench G3（21,361指示、1,419 API）でQwen3 1.7B/4B/8Bを対象。SFTには参照goldツール集合とLlama-4-Maverickによる合成軌跡、RLにはGRPOを使用。外部検索器のみ差し替え可能で、モデル再学習なしの転移を評価。日本語での性能、依存関係のあるタスク、必要計算資源は提示本文から確認できない。
限界と未検証の範囲
各サブステップが1ツールで独立という仮定のため、前段の出力を次段が使う依存タスクや、1サブステップに複数ツールが必要な場合は対象外。goldツール集合はノイズを含み得るためフィルタリングしており、評価もフィルタ後goldとの完全一致。転移はG2、Gorilla、CRAFT、TaskBenchとCOLTで示されるが、全ドメイン・全検索器・多言語（日本語含む）への一般化は未確認。SFTは教師モデルLlama-4-Maverickと合成データに依存し、RLの学習安定性・計算コスト・推論レイテンシ・安全性は提示本文から確認できない。提示本文は実験節が途中で、詳細な成功率や比較表の全数値は確認できない。
解説
この論文は、1万以上のツールから必要なものを選ぶ問題を、小さいLLMでやる話。ユーザー指示が複数ステップだと、検索器のランキングだけじゃ足りないんだよね。
1万個もツールあったら、全部プロンプトに入れるのは無理だし、検索して上位だけ見ても「本当に必要か」は分からないってこと？
そう。従来はBM25やCOLTみたいな検索器で候補を出すか、ClaudeやChatGPTみたいな大きいモデルをプロンプトで動かしてた。この研究はQwen3の1.7B/4B/8BをSFT＋RLで訓練して、Plan–Retrieve–Selectを自分で回せるようにする。
Planで指示をサブステップに分けて、Retrieveで外部検索器から候補を取って、Selectで必要ツールを選ぶ感じ？
その通り。同じモデルがPlanとSelectを別プロンプトで担当する。検索器はサブステップ文でツールをスコアして、閾値τと上位Kで候補を絞る。既定はτ=3、K=15。
訓練はどうやるの？いきなりRL？
まずLlama-4-Maverickを教師にして合成軌跡を作ってSFT。そのあとGRPOでRL。Planは検索結果を使ったprecision/recallのF1、Selectはgoldと完全一致かで報酬を設計してる。報酬のためだけに人手アノテーションを足すわけじゃないのがポイント。
評価はToolBench G3だよね。比較は何と？
論文の主張では、ToolBench G3のテスト2,124指示で、Qwen3-8BのSFT+RLモデルがLlama-4-Maverick（402B）のプロンプト操作を上回る。ただ提示本文は実験節が途中までだから、全比較表や細かい数値は確認できない。
小さいモデルが大きいモデルを上回るって、それだけでけっこう衝撃だね。
さらに転移が大事。論文の報告では、ToolBench G3で訓練したモデルが、G2、Gorilla、CRAFT、TaskBenchに追加学習なしで移る。BM25で訓練しても、推論時にCOLTへ切り替えて使えるって主張してる。
検索器が変わっても、モデル側の選び方が保てるなら使いやすいね。でも条件は？
各サブステップがちょうど1ツールで解けて、サブステップ同士が独立、という前提がある。前の出力を次で使う依存タスクや、1ステップに複数ツールが必要な場合は対象外。goldツールもノイズをフィルタして、評価はフィルタ後goldとの完全一致。
日本語環境は？
提示本文からは確認できない。日本語のツール説明や指示での性能、必要な計算資源、推論レイテンシ、安全性も本文だけでは分からない。あと実験節が途中なので、詳細な成功率の全数値は確認できない。
なるほどね。じゃあ私の「お菓子買う」と「課題やる」も独立サブステップってことで、両方ツール選択しちゃお！
いや、お菓子買ったら課題やる気がなくなるから、それは依存タスクだろ。