解説

ねえねえ智也くん！この『How2Everything』っていう論文、タイトルがすごくない？「何でもやり方を教えちゃう」ってこと？

まあ、あながち間違いじゃないよ。これはAIが「手順」を正しく生成できるようにするための研究なんだ。例えば「蛇口の直し方」とか「確定申告のやり方」とかね。

へぇー！でもAIって今でも教えてくれるよね？「カレーの作り方教えて」って言ったらすぐ答えてくれるし。

そこが問題なんだ。今のAIはそれっぽく答えるのは得意だけど、実は大事なステップが抜けていたり、順番がめちゃくちゃだったりすることがある。現実の世界で手順を間違えると、取り返しのつかないことになるだろ？

確かに！ケーキを焼くのに「オーブンに入れる」を忘れたら、ただの甘いドロドロだもんね。それで、この論文はどうやって解決したの？

まず「How2Mine」っていう仕組みを作って、ウェブ上の約100万ページから35万件もの手順を自動で掘り出したんだ。料理だけじゃなくて、法律やIT、DIYとか14のジャンルを網羅してる。

マイニング……！智也くん、ついにAIにツルハシを持たせてネットの海を掘らせたのね！？

物理的に掘るわけじゃないよ。プログラムで必要な情報を抽出するってこと。次に、AIが作った手順が正しいかを判定する「How2Score」っていう評価方法を考えたんだ。特に「致命的な失敗（Critical Failure）」がないかを厳しくチェックする。

致命的な失敗？なんだか怖そう……。

例えば「共有名義のマンションを売る手順」で、「他の所有者に通知して30日間待つ」っていう法律上の必須ステップを飛ばしたら、その手順はゴミ同然だよね。そういう「目的が達成できなくなるミス」を見つけるんだ。

なるほど！でも、そんな難しいチェック、誰がやるの？智也くんが寝ないでやるの？

いや、僕じゃなくて「How2Judge」っていう専用のAIモデルにやらせるんだ。賢いAIの判断基準を、小さくて扱いやすいモデルに覚え込ませた（蒸留した）ものだよ。これで安く、速く、正確に評価できるようになったんだ。

へぇー、賢いAIが先生になって、小さいAIを育てたんだね！それで、結果はどうだったの？

この評価を使って強化学習（RL）をしたら、手順作成の能力が10ポイント以上も上がったんだ。強化学習っていうのは、良い回答をしたら報酬をあげることで、AIをどんどん賢くする手法のことだよ。しかも、他のテストの点数も落ちなかった。

すごい！手順が得意になっても、他のことがバカにならなかったんだね。これがあれば、将来は何でもAIに聞けば完璧にこなせるようになるのかな？

その可能性はあるね。ただ、まだ課題もある。今はテキストベースの手順だけだけど、実際には画像や動画が必要なこともあるし、現実世界でロボットが動くための計画立案にどう繋げるかっていう研究も必要だ。

そっかぁ。でも、これで私の「朝寝坊せずに大学に行く手順」もAIに作ってもらえば完璧だね！

それは手順の問題じゃなくて、亜美さんのやる気の問題だと思うけど……。

要点

• ウェブ上の膨大なページから「手順（ハウツー）」を自動で抽出・整理するフレームワーク「How2Everything」を開発した。
• 35万件以上の手順データを収集する「How2Mine」により、料理から法律手続きまで幅広い分野をカバーした。
• AIが生成した手順に「致命的な欠陥」がないかを判定する評価手法「How2Score」と、そのための軽量モデル「How2Judge」を提案した。
• 収集したデータを用いた強化学習（RL）により、他の能力を損なうことなく、手順作成の正確性を大幅に向上させることに成功した。

The post AIが「やり方」の達人に！ウェブの知恵を詰め込む新技術「How2Everything」 first appeared on 亜美と智也のAI論文解説.

智也くん、この論文のタイトル「Quantifying Variance in Evaluation Benchmarks」って何だか難しそうだけど、教えてくれない？

もちろん、亜美さん。この論文は、大規模言語モデル（LLM）の評価ベンチマークにおける分散を定量化することについて書かれているんだ。

分散って何？

分散は、評価結果のばらつきのことだよ。例えば、同じモデルを何度もテストしても、結果が毎回少しずつ違うことがあるよね。その違いが分散なんだ。

なるほど！でも、どうしてそれが重要なの？

評価ベンチマークの結果が安定していないと、モデルの性能を正確に比較するのが難しくなるからだよ。分散が大きいと、どのモデルが本当に優れているのか分かりにくくなるんだ。

それは困るね。じゃあ、この論文ではどうやって分散を測っているの？

この論文では、初期化のシード分散やトレーニング中の単調性など、いくつかの指標を使って分散を測っているんだ。多くのモデルを研究して、さまざまな分散指標の経験的な推定値を提供しているよ。

ふむふむ。それで、どんな結果が出たの？

簡単な変更、例えば選択タスクを完了タスクとしてフレーミングすることで、小規模モデルの分散を減少させることができることが分かったんだ。でも、より複雑な方法、例えば項目分析や項目反応理論は、分散を意味のある形で減少させるのに苦労しているんだ。

なるほどね。じゃあ、この研究の意義は何？

この研究は、評価ベンチマークの分散に関する洞察を提供し、分散を減少させるためのLLM特有の技術を提案しているんだ。これにより、モデルを比較する際に分散を慎重に考慮することが奨励されるんだよ。

未来の研究にはどんな可能性があるの？

分散をさらに減少させるための新しい方法を探ることや、評価ベンチマークの設計を改善することが考えられるね。また、分散を考慮した新しい評価基準を開発することも重要だと思うよ。

なるほど、ありがとう智也くん！でも、分散が減ったら、私の成績も上がるかな？

それはどうかな、亜美さん。まずは勉強を頑張ろうね。

要点

評価ベンチマークは、大規模言語モデル（LLM）の能力を測定するための重要な手段であり、進歩を促進する役割を果たしている。

評価ベンチマークの使用において、パフォーマンスの差異が意味のあるものであるかどうかを判断するための分散を定量化することはほとんど行われていない。

この論文では、初期化のシード分散やトレーニング中の単調性など、評価ベンチマークの分散を測定するためのさまざまな指標を定義し、測定している。

多くのモデルを研究し、さまざまな分散指標の経験的な推定値を提供し、実務者への考慮事項と推奨事項を示している。

連続的なパフォーマンス測定と離散的なパフォーマンス測定の有用性とトレードオフを評価し、分散を理解し減少させるためのオプションを探っている。

簡単な変更（例：MMLUのような選択タスクを完了タスクとしてフレーミングすること）で、小規模モデルの分散を減少させることができることを発見した。

人間のテスト文献からインスパイアされたより複雑な方法（例：項目分析や項目反応理論）は、分散を意味のある形で減少させるのに苦労している。

この研究は、評価ベンチマークの分散に関する洞察を提供し、分散を減少させるためのLLM特有の技術を提案し、モデルを比較する際に分散を慎重に考慮することを奨励している。

参考論文: http://arxiv.org/abs/2406.10229v1

The post 評価ベンチマークの分散を定量化するってどういうこと？ first appeared on 亜美と智也のAI論文解説.

智也くん、この「Video-MME」っていう論文のタイトルが気になるんだけど、教えてくれる？

もちろんだよ、亜美さん。この論文は、マルチモーダル大規模言語モデル（MLLMs）のビデオ分析能力を評価するための初の包括的なベンチマークを提案しているんだ。

マルチモーダルって何？

マルチモーダルとは、複数の種類のデータを扱うことを指すんだ。例えば、画像、音声、テキストなどを同時に処理することだよ。

なるほど！じゃあ、この論文のポイントは何？

主なポイントは、MLLMsのビデオ分析能力を評価するための新しいベンチマーク、Video-MMEを提案していることだよ。これまでの研究は静的な画像に焦点を当てていたけど、連続するビデオデータの評価は不十分だったんだ。

それで、Video-MMEはどんな特徴があるの？

Video-MMEは、6つの主要な視覚領域と30のサブフィールドにわたる多様なビデオタイプ、11秒から1時間までの時間的な長さ、字幕や音声を含むマルチモーダル入力、そして専門家による厳密な手動ラベリングが特徴だよ。

すごいね！具体的にはどんな実験をしたの？

900本のビデオを手動で選定し、合計256時間のビデオから2,700の質問と回答のペアを作成したんだ。そして、最先端のMLLMs、例えばGPT-4シリーズを使って広範に評価したんだ。

結果はどうだったの？

結果として、Video-MMEはMLLMsのビデオ分析能力を評価するための信頼性の高いベンチマークであることが確認されたよ。特に、異なるビデオタイプや時間的な長さに対するモデルの性能を詳細に評価できたんだ。

この研究の意義は何？

この研究は、MLLMsのビデオ分析能力を評価するための新しい基準を提供することで、今後の研究や応用に大きな影響を与える可能性があるんだ。例えば、自動運転や監視システムなど、ビデオデータを扱う多くの分野での応用が期待されるよ。

でも、課題とか限界はないの？

もちろん、課題もあるよ。例えば、手動ラベリングには時間と労力がかかるし、ビデオデータの多様性を完全にカバーするのは難しいんだ。今後の研究では、より効率的なラベリング方法や、さらに多様なデータセットの作成が求められるね。

なるほどね。じゃあ、私もビデオをたくさん見て手動ラベリングの手伝いをしようかな！

それはありがたいけど、亜美さんがビデオを見てる間に寝ちゃわないか心配だな。

要点

マルチモーダル大規模言語モデル（MLLMs）は、人工知能の進展において重要な役割を果たしている。

これまでの研究は主に静的な画像理解に焦点を当てていたが、連続する視覚データの処理能力は十分に評価されていない。

この論文では、Video-MMEという初の包括的なマルチモーダル評価ベンチマークを導入し、MLLMsのビデオ分析能力を評価する。

Video-MMEは、6つの主要な視覚領域と30のサブフィールドにわたる多様なビデオタイプ、11秒から1時間までの時間的な長さ、字幕や音声を含むマルチモーダル入力、専門家による厳密な手動ラベリングなどの特徴を持つ。

900本のビデオ（合計256時間）を手動で選定し、2,700の質問と回答のペアを作成した。

Video-MMEを用いて、最先端のMLLMs（GPT-4シリーズなど）を広範に評価した。

参考論文: http://arxiv.org/abs/2405.21075v1

The post ビデオ分析の新時代：Video-MMEの革新と未来 first appeared on 亜美と智也のAI論文解説.