TL;DR

AIが生成した科学的研究質問の価値を、将来の文献が実際に取り上げたかどうかで評価する「歴史バックテスト」プロトコルを提案。過去の文献のみから質問を生成し、未来の文献で回答・部分的対処・独立提起・無視の4段階と、前提の支持・反駁を判定。天文学ベンチマークで、構造ベース生成がLLM直接プロンプトより優れることを示したが、評価者間の一致度が低いという課題も明らかにした。

解説

ねえ智也くん、この論文のタイトル、『歴史バックテスト』って何だかかっこいいね。でも、科学の質問を評価するのに、なんで歴史が出てくるの？

ああ、これはAIが生成した研究質問の価値を測る方法なんだ。過去の文献だけを使って質問を生成して、その質問が将来の文献で実際に取り上げられたかどうかで評価するんだよ。

なるほど！つまり、未来の文献がその質問に答えてくれたら、その質問は価値があったってこと？

そう。具体的には、未来の文献で「回答」「部分的対処」「独立提起」「無視」の4段階に分類するんだ。さらに、質問の前提が支持されたか反駁されたかも判定する。

へえ、でもなんでそんなことする必要があるの？普通に専門家に評価してもらえばいいんじゃない？

専門家の評価は主観的でコストも高いし、再現性も低い。でも、未来の文献という客観的な基準を使えば、もっと公平に評価できるかもしれないんだ。

なるほどね。で、どうやって実験したの？

天文学のベンチマークを使って、過去の文献から質問を生成したんだ。生成方法は、構造ベースの手法とLLMに直接プロンプトで質問させる方法を比べた。

結果はどうだったの？

構造ベースの生成の方が、LLM直接プロンプトよりも良い結果だったんだ。つまり、単にLLMに聞くより、ちゃんと構造を考えた方が良い質問ができるってこと。

すごい！でも、何か問題も見つかったんでしょ？

うん、評価者間の一致度が低いっていう課題があるんだ。つまり、同じ質問を評価しても、人によって判断が分かれることが多い。

あー、それは難しいね。でも、このプロトコル自体は面白いと思うよ。将来の文献で評価するなんて、まるでタイムマシンみたい！

まあ、タイムマシンというよりは、過去のデータを使って未来を予測するようなものだけどね。

でも、もしこの方法が確立したら、AI研究者がもっと良い質問を生み出せるようになるかもね。私も将来、研究するときは使ってみたいな。

その時は、評価者間の一致度の問題を解決しないとね。

あはは、じゃあ私はその解決策を研究するよ！そしたら智也くんも私の質問を評価してね。

その時は、未来の文献で評価されるかどうか、楽しみにしてるよ。

The post 科学質問の価値を未来の文献で検証する「歴史バックテスト」評価プロトコル first appeared on 亜美と智也のAI論文解説.

TL;DR

LLMのベンチマークスコアは、観測プロトコルが対象とする行動特性を識別できない場合でも高くなり得ます。本論文は、有限のポリシークラスに対して、プロトコルが推定対象を識別できるかをモデル推論なしで検証する「プロトコルレベルの識別可能性監査」を提案します。診断例では、ベースのみの観測では7つのポリシーが1つの等価クラスに潰れますが、フルサポートでは7クラスに分離され識別可能になります。また、最小識別サポートの合成も可能で、このケースでは36セル中2セルで十分でした。

解説

ねえ智也くん、この論文のタイトル、『LLM評価の落とし穴』ってちょっと怖い感じだね。何が落とし穴なの？

ああ、要するに、LLMのベンチマークスコアが高くても、それが本当に測りたい能力を測れているとは限らないって話だよ。

え、スコア高いならいいんじゃないの？

そう単純じゃないんだ。観測プロトコルっていう、どうやってモデルを評価するかの手順が、対象とする行動特性を識別できない場合があるんだよ。

識別できない？どういうこと？

例えば、ベースラインの観測だけだと、7つの異なるポリシーが全部同じ振る舞いをしてるように見えるんだ。つまり、区別できない。

あー、つまりテストのやり方が悪いと、全然違うモデルなのに同じスコアになっちゃうってこと？

そう。で、この論文は、モデルを実際に動かさずに、そのプロトコルがちゃんと識別できるかどうかをチェックする方法を提案してるんだ。

モデルを動かさないで？どうやって？

有限のポリシークラスに対して、プロトコルが推定対象を識別できるかを数学的に検証するんだ。これを『プロトコルレベルの識別可能性監査』って呼んでる。

ふーん、なんか難しそうだけど、具体的にはどうやって確かめるの？

診断例では、ベースラインの観測だけだと7つのポリシーが1つの等価クラスに潰れちゃうんだ。でも、フルサポートの観測だと7つのクラスに分離されて、ちゃんと識別可能になる。

なるほど、観測の種類によって見え方が変わるんだね。じゃあ、フルサポートならいつも大丈夫なの？

いや、フルサポートでも必ずしも十分とは限らない。でも、この論文では最小識別サポートの合成もやってて、このケースでは36セル中2セルだけで十分だったんだ。

え、たった2セルで？それってすごく効率的じゃない？

そう、無駄な観測を省ける可能性があるってことだね。でも、これはあくまで有限のポリシークラスに対する話で、実際のLLMはもっと複雑だから、注意が必要だけど。

なるほどね。でも、この監査って実際に使えるの？

使えるよ。モデルを動かす前にプロトコルの設計を検証できるから、評価の信頼性を高めるのに役立つ。ただ、計算コストとか、ポリシークラスの選び方には注意が必要だけど。

なるほどー。でも、なんでこんなに重要なの？

だって、ベンチマークスコアが高いからって、実際の能力が高いとは限らないんだよ。評価が間違ってると、モデルの改善方向も間違えちゃうからね。

あー、それは確かに怖いね。じゃあ、この論文の限界は？

まず、有限のポリシークラスに限定してるから、実際のLLMのような無限に近いポリシーには直接適用できない。あと、プロトコルの設計が複雑だと、監査自体が難しくなるかもしれない。

でも、それでも一歩前進って感じだね。ところで、この監査って、まるでAIの健康診断みたいだね。

まあ、そう言えるかもね。でも、健康診断も受けるだけじゃなくて、結果をちゃんと解釈しないと意味ないけどね。

The post LLM評価の落とし穴：観測プロトコルが原因で識別不能になる問題とその監査手法 first appeared on 亜美と智也のAI論文解説.

TL;DR

大規模スキルライブラリ（690スキル）から適切なスキルを選ぶ際、ハイブリッドランカー（BM25＋埋め込み）はトップ5以内に73.5%の精度で正解を出せます。一方、ワークフロー関係をエンコードした知識グラフは、同じトークン予算で比較するとランカーより11.2ポイントも精度が低く、LLMで生成したエッジも追加の価値がありませんでした。原因は、グラフのエッジがランカーと同じ埋め込み近傍から生成されており、検索範囲を広げられないためです。

解説

ねえ智也くん、このブログのタイトル見たんだけど、スキル検索の精度を上げるのに知識グラフよりランカーが有効ってどういうこと？

ああ、これは大規模なスキルライブラリから適切なスキルを選ぶ話だよ。690個のスキルがあって、その中からユーザーが求めるスキルを探すんだ。

へえ、それでランカーって何？

ランカーは検索結果を順位付けするモデルだよ。この研究ではBM25と埋め込みを組み合わせたハイブリッドランカーを使ってる。

BM25って昔からあるやつ？埋め込みってAIのやつだよね？

そう。BM25はキーワードベースの古典的な手法で、埋め込みは意味的な類似度を捉える。この二つを組み合わせると、トップ5以内に正解を出せる精度が73.5%になるんだ。

すごい！じゃあ知識グラフはもっとすごいんじゃないの？

実は逆で、知識グラフは同じトークン予算で比較すると、ランカーより11.2ポイントも精度が低いんだ。

え、なんで？知識グラフって関係性を表すんでしょ？

問題は、グラフのエッジがランカーと同じ埋め込み近傍から生成されてるんだ。つまり、検索範囲を広げる新しい情報を提供できてないんだよ。

あー、つまりグラフが作る関係が、すでに埋め込みでわかってることの焼き直しってこと？

その通り。さらにLLMで生成したエッジも追加の価値がなかったんだ。

じゃあ、知識グラフは全然ダメってこと？

いや、そうとは限らない。この研究ではスキル検索に限った話で、他のタスクでは知識グラフが有効な場合もある。ただ、この設定ではランカーの方が効率的ってことだね。

なるほどね。でも、なんでわざわざ知識グラフを使うの？ランカーで十分じゃない？

知識グラフは解釈性が高いとか、関係性を明示できるとか利点があるから、研究としては価値があるんだ。ただ、精度だけ見るとランカーに軍配が上がるってこと。

ふーん。でも、この研究の限界って何かあるの？

スキルライブラリが690個と比較的小規模で、特定のドメインに限定されてる。もっと大規模で多様なデータだと結果が変わるかもしれない。

あと、エッジの生成方法も影響してるんじゃない？

そうだね。エッジをどう作るかでグラフの質が変わるから、別の生成方法なら結果が変わる可能性はある。

なるほどね。でも、ランカーが一番シンプルで強いってのは面白いね。

うん、シンプルなのが一番ってこともあるってことだね。

じゃあ、私もスキル検索するときはランカーに任せようっと。でも、知識グラフの方がかっこいいから、ちょっと残念だな。

かっこよさで選ぶと精度が落ちるよ。

The post スキル検索の精度を上げるには？知識グラフよりランカーが有効な理由 first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この論文のタイトル『大規模言語モデルの言語的多様性のベンチマーク』って面白そうだね！内容を教えてくれない？

もちろん！最近の大規模言語モデルは、タスクを解決する能力が高いけど、生成する言語の多様性が人間のレベルに達していないって問題があるんだ。

へえ、そうなんだ！言語の多様性って具体的にはどういうこと？

言語の多様性には、使う語彙の選び方や文の構造、意味の表現の仕方が含まれるんだ。人間は多様な表現を使うけど、モデルはそれが不足していることが多いんだよ。

なるほど！それで、この論文ではどうやって評価しているの？

この論文では、LLMの言語的多様性を評価するためのフレームワークを提案していて、語彙、構文、意味の観点から評価しているんだ。いくつかの最先端のLLMを使ってベンチマークも行ったよ。

ベンチマークって何？

ベンチマークは、特定の基準に基づいて性能を比較することだよ。つまり、どのモデルがどれだけ多様な言語を生成できるかを比較しているんだ。

それで、結果はどうだったの？

結果として、LLMは人間の表現の多様性を十分に再現できていないことがわかったんだ。特に、構文の多様性が不足していることが目立ったよ。

それはちょっと残念だね。でも、今後の応用はどうなるの？

この研究は、LLMの開発や利用において、言語的多様性を重視する必要があることを示しているんだ。将来的には、より多様な表現を持つモデルが求められるだろうね。

でも、モデルが多様性を持つと、逆に混乱しちゃうこともあるんじゃない？

確かに、あまりにも多様すぎると理解が難しくなることもあるから、バランスが大事だね。

じゃあ、智也くんも多様性を持って、もっと面白いこと言ってよ！

それは無理だよ、僕は真面目だから。

要点

最近の大規模言語モデル（LLM）は、タスク解決能力に優れているが、生成する言語の多様性が人間のレベルに達していないことが問題視されている。

この論文では、LLMの言語的多様性を評価するための包括的なフレームワークを提案している。

評価の観点には、語彙、構文、意味の多様性が含まれている。

いくつかの最先端のLLMをこのフレームワークを用いてベンチマークし、構文の多様性に関する詳細なケーススタディを行った。

LLMの出力の言語的多様性に影響を与える開発や展開の選択についても分析している。

参考論文: http://arxiv.org/abs/2412.10271v1

The post 言語モデルの多様性って何？智也くんと一緒に考えてみよう！ first appeared on 亜美と智也のAI論文解説.

ねえ、トモヤ！この論文のタイトル『Evaluating and Aligning CodeLLMs on Human Preference』って面白そうだね！内容を教えてくれない？

もちろん！この論文は、コード生成に使われる大規模言語モデル、つまりcodeLLMsの評価方法について書かれているんだ。

へぇ、codeLLMsって何？

codeLLMsは、プログラミングコードを生成するためのAIモデルのことだよ。最近、これらのモデルはかなり進化してきたんだ。でも、今までの評価方法は、正しいコードを生成することに焦点を当てていて、人間の好みにはあまり配慮されていなかったんだ。

なるほど！人間の好みってどういうこと？

例えば、ユーザーが求めるコードのスタイルや説明の詳細さなどが人間の好みに含まれるんだ。論文では、CodeArenaという新しいベンチマークを提案していて、これが実際のコーディングタスクの多様性を反映しているんだ。

CodeArenaってどんなものなの？

CodeArenaは397の高品質なサンプルを含んでいて、40のカテゴリーと44のプログラミング言語にわたる実際のユーザーのクエリから厳選されているんだ。これにより、モデルが人間の好みにどれだけ合致しているかを評価できるんだ。

すごい！じゃあ、実際にどんな結果が出たの？

実験の結果、オープンソースのcodeLLMsとプロプライエタリなLLMsの間にパフォーマンスのギャップがあることがわかったんだ。特に、人間の好みに合わせた評価が重要だということが強調されたよ。

それって、今後のAIの発展にどう影響するの？

この研究は、AIが人間のニーズにより適応するための方向性を示しているんだ。将来的には、より人間に寄り添ったコード生成が可能になるかもしれないね。

でも、AIが人間の好みを理解するのって難しそうだね。

そうだね、まだ課題も多いし、限界もある。でも、研究が進むことで、より良いモデルが生まれることを期待しているよ。

じゃあ、AIに好みを教えるために、私が好きなアニメのキャラを教えたらどうなるの？

それはAIが混乱するかもしれないね。アニメのキャラはコード生成にはあまり関係ないから。

要点

コード生成における大規模言語モデル（codeLLMs）の進展を評価するための新しいベンチマークCodeArenaを提案。

CodeArenaは397の高品質なサンプルを含み、実際のコーディングタスクの複雑さと多様性を模倣。

人間の好みに基づいた評価が重要であることを示し、従来のベンチマークとのパフォーマンスの違いを明らかに。

合成指示コーパスSynCode-Instructを用いて、合成指示データでトレーニングされたモデルが優れたパフォーマンスを発揮することを確認。

オープンソースのcodeLLMsとプロプライエタリなLLMsの間にパフォーマンスのギャップが存在することを強調。

参考論文: http://arxiv.org/abs/2412.05210v1

The post AIが人間の好みを理解する時代が来る？ first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この論文のタイトル『LLMの行動制御介入の信頼性評価に向けて』って面白そうだね！内容を教えてくれない？

もちろん！この論文は、モデルの行動を制御するための新しい評価方法について書かれているんだ。今までの方法は主観的なデモに頼っていて、客観的な指標が足りなかったんだよ。

へぇ、主観的なデモってどういうこと？

例えば、誰かがモデルに対して良い行動を示すデモを見せることが主観的なデモなんだ。これだと、実際にどれだけ効果があるかがわかりにくいんだよ。

なるほど！じゃあ、提案された評価方法はどんな感じなの？

提案された方法では、いくつかの基準があって、実際のタスクに似た状況を使ったり、モデルの確率を考慮したりするんだ。それに、異なる行動を標準化して比較できるようにしているんだよ。

それってすごく便利そう！実際にどんな実験をしたの？

実験では、真実性や修正可能性といった行動を制御するための方法を評価したんだ。結果として、いくつかの介入が以前の報告よりも効果が低いことがわかったんだ。

それは意外だね！この研究の意義は何なの？

この研究は、モデルの行動をより信頼性高く制御するための新しい基準を提供することができるんだ。将来的には、より安全で効果的なAIの開発に役立つかもしれないね。

でも、まだ課題もあるんでしょ？

そうだね。評価方法の改善や、他の行動に対する適用可能性を探る必要がある。今後の研究が重要だよ。

智也くん、AIの研究って本当に深いね！でも、私の心も制御してほしいな〜！

それは難しいかもしれないね。君の心は自由すぎるから。

要点

モデルの行動を制御するための新しい評価パイプラインを提案している。

現在の評価方法は主観的なデモに依存しており、定量的な指標が不足している。

提案された評価基準には、実際のタスクに似たコンテキストの使用、モデルの確率の考慮、標準化された比較の許可、ベースラインとの比較が含まれる。

このパイプラインを使って、真実性や修正可能性などの行動を制御するための方法を評価した結果、いくつかの介入が以前の報告よりも効果が低いことがわかった。

参考論文: http://arxiv.org/abs/2410.17245v1

The post AIの行動制御、未来の可能性と課題 first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この論文のタイトル『チェックリストを使ったLLMの評価と生成の改善』って面白そうだね！内容を教えてくれる？

もちろん！この論文は、LLMの指示に従う能力を評価するための新しい方法を提案してるんだ。従来の評価方法は、複雑な好みを単一のランキングにまとめるから、信頼性が低くなりがちなんだ。

なるほど、だから新しい方法が必要なんだね。具体的にはどんな方法なの？

TICKという方法を提案していて、これは指示に基づいたチェックリストを生成するんだ。LLMがその指示を分解して、YES/NOの質問を作ることで、評価を構造化するんだよ。

チェックリストを使うと、どういうメリットがあるの？

TICKを使うことで、LLMの判断と人間の好みの一致率が46.4%から52.2%に増加するんだ。つまり、より正確な評価ができるようになるんだよ。

すごい！それで、評価実験の結果はどうだったの？

STICKという自己改善の方法を使うことで、生成品質が向上することも示しているんだ。具体的には、LiveBenchの推論タスクで7.8%の改善が見られたよ。

それはすごいね！この研究の意義は何だと思う？

この研究は、LLMの能力をさらに向上させるための新しいアプローチを示しているんだ。将来的には、より信頼性の高い評価方法が確立されるかもしれないね。

でも、何か課題もあるんじゃない？

そうだね、まだいくつかの限界があるし、今後の研究で解決すべき課題も多いよ。例えば、チェックリストの質をどうやって保証するかが重要だね。

なるほど、智也くんの話を聞いてたら、私もAIの研究者になりたくなっちゃった！

それなら、まずは空気を読めるAIを作るところから始めようか。

要点

LLMの評価方法には柔軟性と解釈可能性が必要。

従来の評価方法は複雑な好みを単一のランキングにまとめるため、信頼性が低い。

TICK（チェックリストを用いた評価法）を提案し、指示に基づいたチェックリストを生成することで評価を構造化。

TICKを使用することで、LLMの判断と人間の好みの一致率が大幅に向上。

STICK（自己TICK）を用いて生成品質を向上させる方法を示す。

人間の評価者にLLM生成のチェックリストを提供することで、評価者間の合意が増加。

参考論文: http://arxiv.org/abs/2410.03608v1

The post チェックリストでLLM評価が変わる！ first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！『最弱のリンクの法則：大規模言語モデルのクロス能力』っていう論文、面白そうだね！内容教えて！

ああ、その論文は大規模言語モデル（LLM）の評価方法についてのものなんだ。今までの研究は、個々の能力に焦点を当てていたけど、実際のタスクでは複数の能力が必要なことが多いんだ。

なるほど！でも、どうしてそれが問題なの？

例えば、ある質問に答えるためには、情報を調べる能力と分析する能力が必要なんだ。これを「クロス能力」と呼んでいる。論文では、7つの個別能力を定義して、それらを組み合わせた7つのクロス能力を提案しているよ。

クロス能力って面白いね！その能力をどうやって評価したの？

CrossEvalというベンチマークを作って、1400のプロンプトを用意したんだ。専門家がモデルの応答を評価して、8400の人間の評価を集めたよ。

すごい！その結果はどうだったの？

結果は、現在のLLMは「最弱のリンクの法則」に従っていて、クロス能力のパフォーマンスが最も弱い部分によって制約されていることがわかったんだ。つまり、全体のパフォーマンスが最も弱い能力に影響されるということ。

それって、改善するためにはその弱い部分を見つけることが大事ってことだね！

そうだね。今後の研究では、最も弱い能力を特定して改善することが重要になると思う。

じゃあ、智也くんは最弱のリンクにならないように頑張ってね！

ああ、そうならないように気をつけるよ。君もね、亜美さん。

要点

大規模言語モデル（LLM）の評価は、個々の能力に焦点を当てているが、実際のタスクでは複数の能力の統合が必要な場合が多い。

7つの主要な個別能力を定義し、それらを組み合わせて7つの共通のクロス能力を形成した。

CrossEvalというベンチマークを導入し、1400の人間による注釈付きプロンプトを用意した。

現在のLLMは「最弱のリンクの法則」に従い、クロス能力のパフォーマンスが最も弱い要素によって制約されることが明らかになった。

今後の研究では、最も弱い能力の特定と改善が重要である。

参考論文: http://arxiv.org/abs/2409.19951v1

The post 大規模言語モデルの新しい評価法！クロス能力の重要性とは？ first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この「IDGen」っていう論文、面白そうだね！内容教えてくれない？

もちろん！この論文は、大規模言語モデル（LLM）の評価方法についてのものなんだ。最近のLLMはすごく進化しているから、それに合わせて評価方法も進化させる必要があるんだよ。

へぇ、評価方法が進化するってどういうこと？

例えば、アイテム識別理論っていうのがあって、これはテストの問題がどれだけ高得点者と低得点者を区別できるかを測る理論なんだ。それを使って、LLMの能力を評価する新しいプロンプトを生成するフレームワークを提案しているんだ。

アイテム識別理論って、テストの問題の良さを測るためのものなんだね！でも、どうやってプロンプトを生成するの？

このフレームワークは、幅広さと特異性を重視していて、LLMの能力を包括的に評価できるプロンプトを生成するんだ。さらに、自己修正メカニズムを取り入れて、高品質なデータを作ることができるんだよ。

自己修正メカニズムって何？

自己修正メカニズムは、生成したデータの質を向上させるために、モデルが自分自身を修正する仕組みなんだ。これによって、より良いプロンプトが作れるんだよ。

なるほど！じゃあ、実際にどんな結果が出たの？

5つの最先端モデルを評価した結果、提案したデータは平均スコアが51.92で、以前の研究よりも挑戦的で識別的だってことがわかったんだ。

それってすごいね！この研究の意義は何なの？

この研究は、LLMの評価方法を改善することで、今後のモデル開発に役立つんだ。さらに、3,000以上のプロンプトを含むデータセットを公開する予定だから、他の研究者も利用できるようになるよ。

未来のLLMがもっと賢くなるってことだね！でも、何か課題はあるの？

そうだね、課題としては、生成したプロンプトがすべてのタスクに対して適切かどうかを確認する必要があるし、モデルの限界も考慮しなければならない。今後の研究では、さらに多様なタスクに対応できるようにすることが目標だよ。

なるほど、智也くんは本当に詳しいね！でも、私もAIのことを勉強して、智也くんに勝てるようになりたいな！

それは難しいかもしれないけど、頑張って！

要点

大規模言語モデル（LLM）の評価方法の重要性が増している。

アイテム識別理論（ID理論）を用いて、LLMの能力を評価するための新しいプロンプト生成フレームワークを提案。

このフレームワークは、LLMの能力を包括的に評価し、モデル間の性能差を明らかにすることができる。

自己修正メカニズムを取り入れ、高品質なデータを生成する。

5つの最先端モデルを評価した結果、提案したデータがより挑戦的で識別的であることが示された。

3,000以上のプロンプトを含むデータセットを公開予定。

参考論文: http://arxiv.org/abs/2409.18892v1

The post AIの評価方法が進化するって？面白い論文の話！ first appeared on 亜美と智也のAI論文解説.

ねえ、トモヤくん！この「HELLOBENCH」っていう論文、面白そうだね！内容教えてくれる？

もちろん！この論文は、大規模言語モデル（LLM）の長文生成能力を評価するための新しいベンチマーク、HelloBenchを提案してるんだ。

長文生成能力って、具体的にはどういうこと？

簡単に言うと、LLMが長い文章を作る能力のことだよ。例えば、長い物語やエッセイを書くときに必要なんだ。

なるほど！でも、今までの研究ではあまり注目されてなかったの？

そうなんだ。多くの研究は、長いテキストを理解したり処理したりする能力に焦点を当てていたから、生成能力はあまり調べられていなかったんだ。

それで、HelloBenchではどんなことを評価するの？

HelloBenchは、長文生成タスクを5つのサブタスクに分けて評価するんだ。具体的には、オープンエンドの質問応答、要約、チャット、テキスト補完、ヒューリスティックテキスト生成があるよ。

それは面白いね！評価方法はどうなってるの？

HelloEvalという新しい評価方法を提案していて、これが人間の評価と高い相関を持ちながら、評価にかかる時間と労力を大幅に削減できるんだ。

実験結果はどうだったの？

約30の主流LLMを使った実験で、ほとんどのLLMが4000語を超えるテキストを生成できないことがわかったんだ。さらに、生成されたテキストには繰り返しや質の低下といった問題もあった。

それはちょっと残念だね。将来的にはどうなると思う？

この研究は、LLMの長文生成能力を向上させるための新しい方向性を示していると思う。今後、より良いモデルが開発されることを期待してるよ。

じゃあ、私も長文生成のAIを作って、友達に小説を書かせることができるかな？

それは面白いけど、まずはAIが長文をちゃんと書けるようになるのを待たないとね。

要点

大規模言語モデル（LLM）の長文生成能力に関する研究が不足していることを指摘。

HelloBenchという新しいベンチマークを提案し、長文生成タスクを5つのサブタスクに分類。

HelloEvalという人間に合わせた評価方法を提案し、従来の評価方法よりも高い相関を示す。

約30の主流LLMを使った実験で、現在のLLMは長文生成能力が不足していることを確認。

長文生成において、4000語を超えるテキストを生成できないLLMが多いことが判明。

参考論文: http://arxiv.org/abs/2409.16191v1

The post AIが長文を書く時代が来る？ first appeared on 亜美と智也のAI論文解説.