TL;DR

PolyUQuestは、Webページのハイパーリンク、DOM階層、エンティティ関係を1つの異種グラフに統合し、クエリの構造的ニーズに応じて3つの検索モードを切り替えるRAGフレームワークです。各引用には出典ページ・見出しパス・エンティティリンクが付与され、回答の検証が容易です。PolyUの公式サイト（4240ページ）での評価では、回答正確性・網羅性・忠実性で既存手法を上回り、LLMトークン消費も削減しました。

解説

ねえ智也くん、このPolyUQuestって論文、タイトル見ただけで難しそうなんだけど…

ああ、Web RAGの新しいフレームワークだよ。HTMLの構造とエンティティ関係を一緒に使って、検索の質を上げてるんだ。

RAGって確か、LLMが外部から情報を取ってきて答えるやつだよね？でもWebページってリンクとか階層があって複雑じゃない？

そう。従来の手法はテキストだけ切り出してたから、構造的な情報が抜け落ちてた。PolyUQuestはハイパーリンク、DOM階層、エンティティ関係を全部1つの異種グラフにまとめてる。

異種グラフって、いろんな種類のノードとエッジがあるってこと？それでどうやって検索するの？

クエリの構造的ニーズに応じて3つの検索モードを切り替えるんだ。例えば、特定のエンティティ間の関係を調べたいときはエンティティモード、ページ内のセクションを辿りたいときは構造モードって感じ。

へえ、状況に応じて使い分けるんだ！それで評価はどうだったの？

PolyUの公式サイト4240ページで評価したんだけど、回答正確性・網羅性・忠実性で既存手法を上回ってる。しかもLLMのトークン消費も減ってる。

トークン消費が減るってことはコストも下がるってこと？すごいね！でも何か弱点とかはあるの？

グラフ構築にコストがかかることと、動的なWebページには対応しきれてないところかな。あと、大規模サイトだとグラフが巨大になりすぎる可能性もある。

なるほどね…でも引用にページや見出しパス、エンティティリンクが付いてるから検証しやすいってのはいいね。これでレポート書くときも安心かな？

ああ、でも亜美さんがレポート書くときはまず自分で調べたほうがいいと思うよ。

えー、せっかく便利なのに！じゃあPolyUQuestに「私の代わりにレポート書いて」って頼んでみようかな？

それは検証可能な引用が付いても単位は取れないからやめとけ。

The post PolyUQuest：HTML構造とエンティティ関係を統合した検証可能なWeb RAG first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この論文のタイトル『HtmlRAG: HTMLはプレーンテキストよりもRAGシステムでの知識モデリングに優れている』って面白そうだね！内容を教えてくれる？

もちろん！この論文は、Retrieval-Augmented Generation、つまりRAGという手法について話してるんだ。RAGは、外部の知識を取り入れてLLMの生成能力を向上させる方法なんだよ。

へぇ、外部の知識を使うんだ！でも、どうしてHTMLを使うのがいいの？

従来のRAGシステムでは、HTMLからプレーンテキストを抽出して使っているんだけど、その過程でHTMLの構造や意味が失われちゃうんだ。HtmlRAGは、HTMLをそのまま使うことで、より多くの情報を保持できると考えているんだ。

なるほど！でもHTMLにはタグとか余計な情報もあるよね？それはどうするの？

その通り。HTMLにはタグやJavaScript、CSSが含まれていて、これがノイズになることがあるから、論文ではHTMLのクリーンアップや圧縮、プルーニングの方法を提案しているんだ。具体的には、不要なHTMLブロックを取り除く二段階のプルーニング手法を使っているよ。

実験結果はどうだったの？

実験では、HtmlRAGが従来の方法よりも優れていることが確認されたんだ。つまり、HTMLを使うことで、より良い知識のモデリングができるということだね。

すごい！この研究の意義は何だと思う？

この研究は、RAGシステムの知識の取り扱いを改善する可能性があるから、将来的にはより正確で信頼性の高い情報生成が期待できるんだ。ただし、HTMLのノイズを完全に取り除くのは難しいから、今後の研究が必要だね。

なるほど、未来の研究が楽しみだね！でも、HTMLを使うって、まるで料理のレシピみたいだね！

確かに、でも料理は失敗したら食べられないから、こっちは失敗してもデータが残るから安心だよ。

要点

Retrieval-Augmented Generation (RAG)は、LLMの知識能力を向上させ、幻覚問題を軽減することができる。

従来のRAGシステムは、HTMLからプレーンテキストを抽出して使用しているが、HTMLの構造的および意味的情報が失われる。

HtmlRAGは、HTMLをプレーンテキストの代わりに使用することで、外部文書の知識をより良くモデル化できると提案している。

HTMLにはタグやJavaScript、CSSなどの追加コンテンツが含まれており、これがRAGシステムにノイズをもたらすため、HTMLのクリーンアップ、圧縮、プルーニング戦略が必要。

実験により、HtmlRAGが従来の方法よりも優れていることが確認された。

参考論文: http://arxiv.org/abs/2411.02959v1

The post HTMLを使った新しい知識モデリングの可能性！ first appeared on 亜美と智也のAI論文解説.

ねえ智也くん、この「AUTOCRAWLER : A Progressive Understanding Web Agent for Web Crawler Generation」って論文、何について書かれてるの？

これは、ウェブ自動化技術に関する研究で、特に新しいウェブサイトに対応するウェブクローラの生成方法に焦点を当てているよ。

ウェブクローラって何？

ウェブクローラは、インターネット上の情報を自動で収集するプログラムのことだよ。この論文では、そういったクローラをより効率的に生成する方法を提案しているんだ。

どうやってそれを実現してるの？

AUTOCRAWLERはHTMLの階層構造を利用して、段階的にウェブページを理解し、適切なアクションを生成するんだ。トップダウンとステップバックの操作を使って、間違ったアクションから学習していくよ。

実験の結果はどうだったの？

複数の大規模言語モデルを使った実験で、このフレームワークが非常に効果的であることが確認されたよ。

これからの応用可能性についてどう思う？

この技術は、さまざまなウェブ環境に対応できるクローラを生成するため、多くの分野での応用が期待されるね。

でも、何か課題はあるの？

はい、特に新しいタイプのウェブページに対する適応性や、さらなる精度の向上が今後の研究課題だね。

へぇ、クローラってクモのようにネットをはうのかな？

その通り、でも実際にはウェブのデータを集めるためだけだよ。

要点

ウェブ自動化は複雑なウェブタスクを自動化する重要な技術で、操作効率を向上させ、手動介入の必要性を減らします。

従来の方法（ラッパーなど）は新しいウェブサイトに遭遇した際の適応性と拡張性に限界があります。

大規模言語モデル（LLM）を活用した生成エージェントも、オープンワールドのシナリオでのパフォーマンスと再利用性が低いという問題があります。

本研究では、垂直情報ウェブページのためのクローラ生成タスクと、クローラとLLMを組み合わせる新しいパラダイムを紹介します。

提案されたAUTOCRAWLERは、HTMLの階層構造を利用した二段階フレームワークで、進行的な理解を促進します。

AUTOCRAWLERは、トップダウンとステップバックの操作を通じて、誤ったアクションから学習し、HTMLを連続的に剪定してより良いアクション生成を実現します。

複数のLLMを用いた包括的な実験を行い、フレームワークの有効性を実証しました。

参考論文: http://arxiv.org/abs/2404.12753v1

The post ウェブクローラ生成の新しいアプローチについて first appeared on 亜美と智也のAI論文解説.