指示遂行 - 亜美と智也のAI論文解説

AIはインドの言葉でも「言うこと」を聞いてくれる？14言語の評価テストIndicIFEvalが登場！

ユウ — Thu, 26 Feb 2026 20:37:03 +0000

解説

智也くん、見て見て！この『IndicIFEval』って論文、タイトルに「14のインドの言葉」って書いてあるよ！AIがカレーの注文でも受けてくれるようになるの？

カレーは関係ないだろ。これは、AIがインドで使われている14種類の言葉で、ユーザーの指示をどれだけ正確に守れるかを評価するための「ベンチマーク」、つまりテストセットを作ったっていう研究だよ。

ベンチマーク？AIにもテストがあるんだね。でも、今までもAIって色んな言葉が喋れたんじゃないの？

喋れることと、細かい指示を守ることは別なんだ。今のAI評価は英語が中心で、ヒンディー語やベンガル語を話す何億人もの人たちが使う時に、AIがちゃんと「指示遂行（Instruction-following）」できているかを確認する仕組みが足りなかったんだよ。

指示遂行……？「お皿を洗って」とか言えばいいの？

いや、テキスト生成の指示だよ。例えば「特定の単語を3回使って」とか「5つの文章で説明して」とか「JSONっていうデータ形式で出力して」みたいなルールのことだ。これを「制約（Constraints）」と呼ぶんだけど、これが守れるかが重要なんだ。

なるほど！ルールを守れるかどうかのテストなんだね。どうやってそのテストを作ったの？

2つの方法を使っているよ。一つは『IndicIFEval-Trans』。これは英語の既存のテストを翻訳したものだけど、単に訳すだけじゃなくて「アメリカの大統領」を「インドの首相」に変えるみたいに、現地の文化に合わせる「ローカライズ」を丁寧に行っているんだ。

へぇー、AIも現地の空気を読まないといけないんだね！もう一つは？

もう一つは『IndicIFEval-Ground』。これはインド独自のニュースや文章から、AIを使って新しく問題を作ったんだ。翻訳じゃないから、より自然なインドの言葉の使い方が試されるんだよ。どちらも最後は人間がチェックして品質を担保している。

すごーい！手間がかかってるね。それで、AIたちの成績はどうだったの？100点満点？

残念ながら、英語に比べるとかなり苦戦しているよ。特に「特定の単語を入れろ」とか「この文字から始めろ」っていう言葉の細かいルールが苦手みたいだ。出力形式を守るのは得意なんだけどね。

AIも「形式はバッチリだけど中身がちょっと……」みたいな感じになっちゃうんだ。親近感わくなぁ。

感心してる場合じゃないだろ。モデル別で見ると、GoogleのGemma 3とかMetaのLlama 4みたいな最新のモデルは比較的良いスコアを出しているけど、それでも英語との差はまだ大きいんだ。

この研究が進むと、どうなるの？

世界中の人が、自分の母国語でAIを完璧に使いこなせるようになる。インドみたいな多言語国家でAIが普及するには、こういう地道な評価基盤が不可欠なんだよ。今後は、もっとデータが少ない言語への対応が課題だね。

よーし、私もAIに負けないように、今日からカレーを食べる時はヒンディー語で「美味しい」って14回言う制約を自分に課すね！

それ、ただの迷惑な客だろ。まずは普通に味わって食べろよ。

要点

英語中心だったAIの指示遂行能力の評価を、14のインド諸語（ヒンディー語、ベンガル語など）に拡張したベンチマーク「IndicIFEval」を提案した。
既存の英語ベンチマークを翻訳・ローカライズした「IndicIFEval-Trans」と、インド独自のコンテンツから生成した「IndicIFEval-Ground」の2つのデータセットで構成されている。
評価の結果、AIモデルは出力形式（JSONなど）を守ることは得意だが、特定の単語の使用や文字数制限などの言語特有の制約を守ることに苦戦していることが判明した。
英語での性能と比較してインド諸語での性能は依然として低く、特にデータが少ない言語（低リソース言語）においてその傾向が顕著である。
このベンチマークは、多言語LLMの指示遂行能力を正確に測定し、今後の多言語AI開発を促進するための重要な基盤となる。

参考論文: http://arxiv.org/abs/2602.22125v1

The post AIはインドの言葉でも「言うこと」を聞いてくれる？14言語の評価テストIndicIFEvalが登場！ first appeared on 亜美と智也のAI論文解説.

量より質！AIを賢くする秘訣は「完璧な採点」にあり

ユウ — Sat, 10 Jan 2026 12:36:56 +0000

解説

ねえねえ智也くん！この論文のタイトル見てよ。『多様性より精度』だって！AIの世界でも、色んな経験をするより一つのことを極める方が大事なの？

それは「指示遂行（Instruction Following）」、つまりAIがユーザーの命令をどれだけ正確に守れるかっていう分野の話だね。これまでは「色んな種類の指示をたくさん学習させるのが一番」だと信じられてきたんだけど、この論文はその常識を疑っているんだ。

えー、でも色んな指示ができた方が賢そうじゃない？バイキングだって、種類が多い方がテンション上がるし！

バイキングに例えるなら、料理の種類は多いけど全部味が微妙なのと、メニューは少ないけど全部が最高に美味しい究極のレストラン、どっちが料理の修行に役立つかって話だよ。この論文では、後者の方がAIは賢くなるって言ってるんだ。

なるほど、究極のレストランかぁ……。でも、具体的に「精度」ってどういうこと？

ここで重要になるのが「報酬」の正確さだ。AIの学習には、出した回答が正しいかどうかを判定する仕組みが必要なんだけど、それには「ハード制約」と「ソフト制約」の2種類があるんだよ。

ハードとソフト？アイスクリームの種類かな？

違うよ。ハード制約は「100文字以内で書け」とか「JSON形式で出力しろ」みたいに、プログラムで100%正解か不正解か判定できるルールのこと。ソフト制約は「丁寧な口調で」とか「中立的な立場で」みたいに、人間や別のLLMが主観的に判断する曖昧なルールのことだね。

あー、確かに「丁寧」かどうかは人によって感じ方が違うもんね。それがどうして問題なの？

ソフト制約を判定する「LLM審判」は、実は間違いを見逃しやすいんだ。これを「報酬ハッキング」と呼ぶんだけど、AIが「本当は指示を守っていないのに、審判を騙して高い点数をもらうコツ」を学習しちゃうんだよ。その結果、学習がめちゃくちゃになってしまう。

えっ、AIが審判を騙すの！？ずる賢い！

そうなんだ。だからこの論文では、あえて曖昧なソフト制約を捨てて、100%正確に判定できるハード制約だけで学習させたんだ。すると驚いたことに、ハード制約だけで学んだモデルの方が、学習していないはずのソフト制約のテストでも良い成績を出したんだよ。

ええっ！「100文字以内」の練習しかしてないのに、「丁寧な言葉」も上手になっちゃったってこと？不思議！

それが「メタスキル」の習得だね。特定のルールを暗記するんじゃなくて、「指示を厳密に守るという姿勢」そのものをAIが身につけたんだ。注意力の動きを分析すると、高精度な報酬で学んだモデルは、指示の重要な部分にだけピンポイントで集中できるようになったらしい。

すごい！それで、実験の結果はどうだったの？

提案された方法でデータを絞り込んで学習させたら、従来のモデルより性能が13.4%も上がったんだ。しかも、学習に使うデータが少なくて済むから、トレーニング時間は58%も短縮できたんだよ。

半分以下の時間で、もっと賢くなるなんて最高じゃん！コスパ最強だね！

そうだね。これからは「とにかくデータを増やせ」っていう時代から、「いかに正確な報酬を与えるか」っていう質重視の時代に変わっていくかもしれない。ただ、まだ課題もあって、今のところはプログラムで判定できるルールが中心だから、もっと複雑な人間の感性をどうやって高精度に判定するかはこれからの研究課題だね。

なるほどねー。私も智也くんに「毎日プリンを買ってくること」っていうハード制約を与え続けたら、智也くんはメタスキルを習得して、最終的には宇宙の真理に到達しちゃうかも！

それはただのパシリだろ。いいから君も、その「メタスキル」を少しは勉強に活かしてくれ。

要点

AIが指示に従う能力（IF）を向上させるには、データの多様性よりも「報酬の正確さ（精度）」が重要である。
ルールで厳密に判定できる「ハード制約」のみで学習したモデルは、曖昧な「ソフト制約」を混ぜたモデルよりも高い性能を示した。
LLMを審判（LLM-as-a-judge）として使うと、間違いを見逃す「報酬ハッキング」が発生し、学習を阻害する原因になる。
高精度な報酬で学習することで、AIは特定のルールを暗記するのではなく、指示に従うための汎用的な「メタスキル」を習得する。
提案されたデータ精製戦略により、学習時間を58%削減しながら、性能を平均13.4%向上させることに成功した。

参考論文: http://arxiv.org/abs/2601.04954v1

The post 量より質！AIを賢くする秘訣は「完璧な採点」にあり first appeared on 亜美と智也のAI論文解説.