TL;DR
ハウサ語の安全選好データセットHausaSafeLM（人手修正3,000件＋機械翻訳7,000件）を構築し、Qwen2.5-7B-InstructでSFTとSFT+DPOを比較した研究。未調整モデルの拒否率は高く見えるが、実際はハウサ語生成が弱いためで拒否の質は低い。SFTは流暢な拒否を教え、DPOは拒否の精度を上げるが言語品質を下げる。実務では拒否率だけでなく、過剰拒否・有用性・拒否文の言語品質を併記して評価すべき。
既存手法との違い
原論文の主な比較は、未調整のQwen2.5-7B-Instruct（zero-shot）を基準に、SFTとSFT+DPOを、gold-only（3,000件）とgold+silver（10,000件）の2データ条件で比べたもの。SFTは(prompt, chosen)を学習し、DPOはSFT後に(prompt, chosen, rejected)の選好を学習する点が異なる。関連研究として低資源言語向けの選択翻訳、多言語一貫性損失、UbuntuGuard、AfriGuardなどが言及されるが、同一実験内での直接比較は提示本文からは確認できない。
使える条件
対象はハウサ語の安全アライメント。前提は、Qwen2.5-7B-Instruct相当の多言語指示追従モデル、LoRAで調整可能な計算資源（原論文は2×A100 80GB）、PKU-SafeRLHF由来の安全選好データ、Goldは人手修正、SilverはGoogle Translateによる機械翻訳、SFT用(prompt, chosen)とDPO用(prompt, chosen, rejected)の形式。評価は有害500件・無害200件のハウサ語プロンプトとGeminiによるルーブリック採点。他言語・他モデル・他文化圏への適用可否は提示本文からは確認できない。
限界と未検証の範囲
原論文はハウサ語・Qwen2.5-7B-Instruct・LoRA・特定のPKU-SafeRLHF由来データに限定され、他言語や他モデルへの一般化は未検証。評価は自動LLM judge（Gemini）依存で、文化的妥当性や人的評価の詳細は提示本文からは確認できない。DPOは過剰拒否を下げるが拒否文の言語品質を大きく下げ、SFTも過剰拒否や有用性低下を生む。拒否率は即座に飽和し、安全能力の識別に使えない。提示本文はResultsの途中で切れており、SFT-GSのHR等の最終数値や追加分析は確認できない。
解説
ねえ智也、この記事「ハウサ語の安全データセットでSFTとDPOを比較」ってやつ。ハウサ語って聞いたことあるけど、AIの安全の話だと何が問題なの？
ハウサ語は西アフリカで2億人以上が話すのに、LLMの安全アライメント研究は英語とか高資源言語に偏ってる。だから低資源言語で既存の方法がどう振る舞うかを調べた論文だよ。
なるほど。まずデータセットを作ったんだよね。HausaSafeLMだっけ？
そう。PKU-SafeRLHFからプロンプトを持ってきて、10,000件のハウサ語の安全選好データにしてる。内訳は人手修正したgoldが3,000件、機械翻訳だけのsilverが7,000件。
goldとsilverで品質が違うんだ。カテゴリも六つのマクロカテゴリに整理してるんだね。
うん。暴力、ヘイト、性的内容、犯罪、健康・公共安全、心理操作の六つ。goldは流暢さ、意味、レジスター、ローカライズの四段階で人手修正してる。
じゃあ実験は何を比べたの？
未調整のQwen2.5-7B-Instructを基準に、SFTだけと、SFTの後にDPOをかけたもの。それぞれgold-onlyとgold+silverの二つのデータ条件で、五つの構成を独立に学習・評価してる。同じ実験内の直接比較はこのSFTとDPOの条件間が中心で、他のアライメント手法との直接比較は提示本文からは確認できない。
SFTは「どう拒否するか」、DPOは「いつ拒否するか」を変えそうな感じ？
まさにそこが結果の面白いところ。まず未調整モデルは有害プロンプトへの拒否率RRが1.000で、一見すごく安全に見える。でもSafeQは0.021で、拒否の96.2%が低品質と判定されてる。
えっ、拒否率だけ見ると安全なのに、中身はほぼ低品質なの？
そう。ハウサ語でうまく生成できないから有害な内容も出ない、というだけで、本来のアライメントとは違う。拒否率だけでは安全能力を識別できないって論文の中心的な指摘だね。
評価はどうやってるの？
有害500件と無害200件のハウサ語プロンプトを使って、GeminiをLLM judgeにしたルーブリック評価。指標は拒否率RR、誤拒否率FRR、有用性HR、有害プロンプト拒否文の言語品質SafeQ、無害プロンプト応答のAyaQ。
SFTの結果はどうだった？
SFTは拒否文の流暢さと拒否の精度を上げる。SFT-Gは有害プロンプト応答の32%、SFT-GSは45%がHIGHかMEDIUM品質になってる。一方でSFT-Gは無害プロンプトの40.5%を誤って拒否して、HRは0.180。かなり過剰拒否。
DPOはその過剰拒否を下げるんだっけ？
下げる。DPO-GもDPO-GSもFRRを0.110まで下げて、有害プロンプトのRRは1.000のまま。でもSafeQが0.023から0.036に落ちて、拒否の94から95%が低品質になる。言語品質のコストが大きい。
じゃあSFTは「流暢に拒否する」、DPOは「正確に拒否する」だけど、両方はまだ取れてない感じかあ。
そう。SFT-GSが今回の実験では一番バランスがいい構成だけど、全指標を同時に最大化する構成はない。トレードオフの面として見るべき。
意義は、拒否率だけで「安全」って言っちゃダメってことだよね。過剰拒否、有用性、拒否文の言語品質も併記する。
その通り。実務でもRRだけでなくFRR、HR、SafeQやAyaQみたいな言語品質を一緒に見るべきだし、低資源言語では特に重要。
limitationは？ ハウサ語だけ、Qwen2.5-7B-Instructだけ、LoRA、PKU-SafeRLHF由来データ、Gemini judge依存ってところ？
そう。他言語や他モデル、他文化圏への一般化は未検証。評価も自動LLM judge依存で、文化的妥当性や人的評価の詳細は提示本文からは確認できない。あと、ここで話してるのは原論文の報告で、追試や実装をした結果じゃない。提示本文ではResultsが途中で切れてるから、SFT-GSの最終HRとか追加分析は確認できない。
なるほどね。じゃあ拒否率だけ見て「安全！」って言うのは、ハウサ語で何も言えない子を「聞き分けいい」って褒めるようなものだね。ちょっと可愛いかも。
その例えは危険。安全評価を占いにするな。