TL;DRPallasは、AI…
TL;DR
本論文は、LLM（gpt-oss-120bとGPT-5.4）がXLE形式の文法（句構造規則、語彙エントリ、テンプレート）を生成できるかを、広東語ParGram資源を正解データとして制御実験で評価したものです。GPT-5.4が優れ、文よりも目標となる機能構造からの生成が高精度でしたが、複数構文が絡むと制約の調整に失敗しやすく、人間の言語学専門家の役割が依然として重要であることが示されました。
解説
ねえ智也くん、この論文のタイトル、『LLMは文法工学をどこまで支援できるか？』って面白いね。文法工学って何？
ああ、文法工学っていうのは、自然言語の文法をコンピュータで扱える形に記述する分野だよ。例えば、XLE形式の文法ってやつで、句構造規則とか語彙エントリを書くんだ。
へえ、それでLLMがその文法を生成できるか試したんだね。どんな実験をしたの？
広東語のParGram資源を正解データとして使って、gpt-oss-120bとGPT-5.4っていう2つのLLMに、XLE形式の文法を生成させて、その正確さを評価したんだ。
なるほど。で、結果はどうだったの？
GPT-5.4の方が優れてたよ。特に、文そのものよりも、目標となる機能構造（LFGのf-structure）から生成する方が高精度だったんだ。
機能構造って何？難しそうだけど、簡単に言うと？
簡単に言うと、文の意味的な役割（主語とか目的語とか）を表す構造だよ。それから生成する方が、文の表層だけから生成するより、文法の本質を捉えやすいみたい。
じゃあ、LLMは結構使えるってこと？
でも、限界もあるよ。複数の構文が絡むと、制約の調整に失敗しやすいんだ。例えば、語順と格の一致とかが同時に必要な場合、うまくいかないことが多い。
あー、やっぱり人間の専門家の出番ってこと？
そうだね。LLMはあくまで支援ツールで、最終的な調整や検証は人間の言語学専門家がやる必要があるって結論だよ。
ふーん、でもLLMが文法書いてくれるなら、専門家の仕事も楽になるんじゃない？
まあ、下書きとしては使えるかもしれないけど、結局は専門家が直さないといけないから、楽になるかは微妙だね。
そっか。でも、LLMが広東語の文法を書けるって、なんかすごいね。私も試してみたいな。
試すのはいいけど、結果を鵜呑みにしないでね。
わかってるよ。でも、もしLLMが完璧に文法書いてくれたら、言語学者は失業しちゃうかもね。
それはまだまだ先の話だよ。今のところ、LLMは文法の「下書き」しか書けないからね。