TL;DR
本論文は、サウジアラビア法務ベンチマークARABLEGALEVALを使い、FANAR-9B・JAIS-8B・Qwen2.5-7Bで適応（CPT/SFT/CPT→SFT）・量子化・蒸留を、文脈あり/なしの両方で評価する。文脈を外すと基盤モデルで最大27ポイントの精度差があり、文脈ありの高精度が文脈なしの知識を保証しない。4bit量子化はメモリを64–71%削減し、文脈なしMCQ精度の変化は−3.2〜+1.6ポイント。蒸留は変動が大きく、文脈なし評価が圧縮効果の補完指標になることを示す。
既存手法との違い
原論文は同一ベンチマーク上で、Baseに対するCPT・SFT・CPT→SFTを比較し、量子化ではBF16のCPT→SFTを基準にINT8・INT4 NF4・INT4 FP4を比較する。蒸留ではSFT教師からQwen2.5/JAIS学生への系列レベルhard-label蒸留を比較する。関連研究としてGPTQ・AWQ・NF4やLoRA/QLoRA、多言語Transformerの圧縮研究に言及するが、アラビア語法務で適応・量子化・蒸留を同一パイプラインかつ文脈あり/なしで比べる点が違いである。外部の一般ベンチマークとの直接比較は提示本文からは確認できない。
使える条件
対象はFANAR-9B、JAIS-8B、Qwen2.5-7B-Instruct。データはARABLEGALEVALのMCQとNajizQAで、MCQは固定500件、NajizQAは200件で評価する。適応はQLoRA、量子化はbitsandbytesのINT8/INT4 NF4/INT4 FP4、蒸留は文脈なしで生成した疑似ラベルによる系列レベル蒸留を用いる。計算環境はNVIDIA A100のHPC。他言語・他法域・他モデル、本番レイテンシやコスト、量子化後の実サービス性能は提示本文からは確認できない。
限界と未検証の範囲
評価はサウジアラビア法務のARABLEGALEVALとNajizQA、3モデル、MCQ固定500件に限定される。文脈内の正解文字列の直接一致は調べているが、モデルがその重複に依存したかは特定しない。量子化と蒸留は異なるチェックポイント（CPT→SFTとSFT）を出発点にするため、圧縮だけの効果として直接比較できないと原論文も注意している。蒸留はlogit-levelではなく系列レベルhard-labelで、温度スケーリングは今後の課題。提示本文は量子化結果の途中までで、全設定の詳細は確認できない。一般のLLM運用への外挿は未検証。
解説
ねえ智也、このブログのタイトル、アラビア語法務LLMの圧縮効果ってやつ、難しそうだけど何が問題なの？
法務LLMはローカルで動かしたい場面があるけど、モデルが重い。圧縮でメモリを減らせるか、でも法務の精度が落ちないかが問題。
文脈あり・なしってのが大事なんだ？
そう。条文とか参考文脈を渡すと、モデルはそれを読んで答える。だから文脈ありで高精度でも、モデル自身に法務知識があるとは限らない。原論文はARABLEGALEVALで両方を評価してる。
使ってるモデルは？
FANAR-9B、JAIS-8B、Qwen2.5-7B-Instruct。三段階で、適応、量子化、蒸留を見る。
比較は何と何？
適応はBaseに対するCPT、SFT、CPT→SFT。量子化はBF16のCPT→SFTを基準にINT8、INT4 NF4、INT4 FP4。蒸留はSFT教師からQwen2.5やJAISの学生。関連研究でGPTQやAWQ、NF4、LoRA/QLoRAには触れるけど、外部の一般ベンチと直接比べてるとは提示本文からは確認できない。
適応は具体的に何してるの？
QLoRAで、CPTは法務コーパスで継続事前学習、SFTは指示と応答の形式で微調整、CPT→SFTはその順番でやる。法務知識の注入とタスク形式への適応を分けて見てる。
量子化は？
CPT→SFTのチェックポイントをBF16で基準にして、bitsandbytesのINT8、INT4 NF4、INT4 FP4に圧縮。メモリ削減と文脈あり/なしの精度変化を見る。
蒸留は小さいモデルに移すやつだよね？
そう。SFT教師から小さい学生へ、文脈なしで疑似ラベルを作って系列レベルのhard-label蒸留。logit蒸留や温度スケーリングは今後の課題って書いてある。
評価はどれくらいの量？
MCQは固定500件、NajizQAは200件。MCQはA–Dのexact-match、NajizQAはROUGE-L。計算環境はNVIDIA A100のHPC。
結果で一番びっくりしたのは？
文脈を外すとFANARが97.8%から70.8%で27ポイント差。Qwen2.5-7Bは21.4ポイント、JAIS-8Bは7.6ポイント。文脈ありの高精度が、文脈なしの知識を保証しないってこと。
適応は効いたの？
モデル依存。FANARはCPT→SFTで70.8%から79.2%、Qwen2.5-7Bは76.0%から79.8%。でもJAISはSFT単体が76.4%で、CPT→SFTの75.8%より少し高い。一貫して順番が勝つわけじゃない。
量子化はどうだった？
4bitでメモリは64–71%減。文脈なしMCQの変化は−3.2〜+1.6ポイント。ただ提示本文は量子化結果の途中までだから、全部の細かい表は確認できない。
蒸留は？
変動が大きい。FANARから蒸留したQwen2.5-7B学生が文脈なし76.6%で、教師は77.2%。学生が小さくなると概ね精度が下がるって報告。
じゃあこの論文の嬉しいところは？
原論文の主張は、圧縮効果を文脈ありだけで見ると条文コピー能力を見てる可能性があるから、文脈なし評価を補完指標にしようってこと。僕の読みでは、ローカル推論のメモリ削減を考えるときの評価設計に効く話。
でも万能じゃないんでしょ？
サウジ法務のARABLEGALEVALとNajizQA、3モデル、MCQ500件に限定。他の法域・言語・本番レイテンシやコストは未検証。正解文字列が文脈に直接入ってたのは54%だけど、モデルがそれに依存したかは特定してない。量子化と蒸留は別チェックポイント出発だから、圧縮だけの効果として直接比較できないとも注意してる。
なるほどね。じゃあ私、4bitに圧縮したら頭も64%減るかな？
残念ながら、精度変化は−3.2〜+1.6ポイントには収まらないと思う。