TL;DRPallasは、AI…
TL;DR
請求書をGLコードに自動分類するタスクで、小規模なSBERT（約22Mパラメータ）を1GPUでファインチューニングすると精度0.96を達成し、ゼロショットLLMやベンダー名のみのベースラインを上回りました。事前学習済み埋め込みの幾何学的分析により、SBERTは高次元で等方的なクラスタ構造を持ち、ベンダー情報と強く相関することが分かりました。一方、DeBERTaのCLS埋め込みは入力が長くなると情報が潰れ、性能が低下します。また、人間には読みやすい構造化入力（ラベル付き）はSLMの性能を向上させないという直感に反する結果も示されました。
解説
ねえ智也くん、このブログのタイトル、『請求書のGLコード分類に小規模言語モデルが有効な理由』って、なんか難しそうだけど、要するに何がすごいの？
ああ、これはね、請求書を自動で勘定科目コード（GLコード）に分類するタスクで、小さいモデルでも十分高い精度が出せるって話だよ。特に、SBERTっていうモデルをファインチューニングしたら、精度0.96を達成したんだ。
0.96ってすごいね！でも、なんで小さいモデルなの？大きいモデルのほうがいいんじゃないの？
それが面白いところで、ゼロショットのLLM（大規模言語モデル）と比べても、この小さいSBERTのほうが精度が高かったんだ。しかも、1GPUでファインチューニングできるから、コストも抑えられる。
へえ、じゃあなんで小さいモデルがそんなにうまくいくの？
論文では、事前学習済みの埋め込み空間を幾何学的に分析してるんだ。SBERTの埋め込みは高次元で等方的なクラスタ構造を持っていて、ベンダー情報と強く相関してるんだよ。つまり、ベンダー名が分類に重要な手がかりになってるってこと。
ベンダー名か～。確かに、同じ会社からの請求書は同じようなコードになりそうだもんね。でも、それってベンダー名だけ見ればいいってこと？
いや、ベンダー名だけのベースラインよりもSBERTのほうが精度が高いから、それだけじゃないんだ。でも、ベンダー情報が強く効いてるのは確か。一方で、DeBERTaのCLS埋め込みは、入力が長くなると情報が潰れて性能が落ちるって分析されてる。
なるほどね。で、他にも面白い発見があったんでしょ？
そう、人間には読みやすい構造化入力（ラベル付き）は、SLMの性能を向上させないっていう直感に反する結果が出てるんだ。つまり、ラベルを付けても精度は上がらなかったってこと。
えー、意外！ラベルがあったほうが分かりやすいと思ったのに。でも、モデルにとっては関係ないってことか。
そういうこと。あと、この研究の意義は、小規模モデルでも実用的な精度が得られるから、コストやリソースが限られた環境でも使えるってこと。ただ、限界としては、特定のドメイン（請求書）に特化してるから、他のタスクにそのまま応用できるかはわからない。
なるほどね。でも、小さいモデルでここまでできるなら、私の卒論にも使えるかも？
まあ、卒論で使うなら、まずはデータを集めるところから始めないとね。
あはは、確かに。でも、もし使えたら、私も0.96の精度を出してみたいな！
その前に、まずはデータの前処理を覚えるのが先だと思うよ。