TL;DR

PDDLCoderは、LLMが自然言語のタスク記述からPDDL(計画問題の形式言語)を自律的に生成・修正・検証するエージェント型フレームワークです。従来の固定パイプライン方式と異なり、エージェントが構文エラーや計画失敗などの状況に応じてツールを選択し、反復的に改善します。また、711の問題を含むベンチマークNL-pddlgymを新たに導入し、生成された計画が実際に実行可能かどうかを自動検証します。実験では、PDDLCoderがテストセットの89.6%の問題で適用可能な計画を生成し、既存のLLM直接計画生成(最大74.5%)や従来のPDDL生成手法(最大45.3%)を上回りました。

解説

AMI HAPPY

ねえ智也くん、このブログのタイトル、PDDLCoderって何だかかっこいいね。でもPDDLって何?

TOMOYA NEUTRAL

PDDLは計画問題を記述するための形式言語だよ。ロボットの行動計画とか、タスクの順序を決めるのに使われるんだ。

AMI SURPRISED

へー、それでLLMがそれを自動で作ってくれるってこと?すごいじゃん!

TOMOYA NEUTRAL

うん、でもただ作るだけじゃなくて、エージェント型のフレームワークなんだ。LLMが自分でPDDLを生成して、エラーがあれば修正して、計画が実行可能かも検証するんだよ。

AMI HAPPY

なるほど、つまりAIが自分で試行錯誤しながら改善していくってこと?

TOMOYA NEUTRAL

そう。従来の方法は固定のパイプラインで、一度生成したら終わりだったけど、PDDLCoderは状況に応じてツールを選んで反復的に改善するんだ。

AMI SURPRISED

それってすごく賢いね!でも、どうやって検証してるの?

TOMOYA NEUTRAL

新しいベンチマークのNL-pddlgymを導入して、711の問題で生成した計画が実際に実行可能かどうかを自動でチェックしてるんだ。

AMI HAPPY

711問も!それで結果はどうだったの?

TOMOYA HAPPY

テストセットの89.6%の問題で適用可能な計画を生成できたんだ。既存のLLM直接計画生成が最大74.5%、従来のPDDL生成手法が最大45.3%だったから、かなり上回ってるね。

AMI NEUTRAL

すごい!でも、何か弱点とかはないの?

TOMOYA NEUTRAL

うーん、まだ完全ではないよ。例えば、複雑な問題になると生成に時間がかかったり、エラー修正がうまくいかない場合もあるみたい。あと、ベンチマークの範囲が限られてるから、実世界の多様なタスクにどこまで対応できるかは未知数だね。

AMI HAPPY

なるほどね。でも、これが進化すれば、ロボットに「お茶を入れて」って言うだけで動いてくれるようになるかもね!

TOMOYA NEUTRAL

そうだね。でも、その前に君は自分でお茶を入れられるようになったほうがいいと思うよ。