コンテンツへスキップ

亜美と智也のAI論文解説

最新AI論文の知見を分かりやすく解説!

タグ: ベンチマーク

10月 26 2026
0

メールAIエージェントの適応型フィッシング耐性を測るベンチマーク

投稿者: 亜美と智也のAI論文解説 編集部

AgentPhishingは、LLMメールエージェントがフィッシングメールを「見抜けるか」だけでなく、悪意ある依頼に「従ってしまうか」まで評価するベンチマークです。

10月 26 2026
0

2人調理の共同計画を測る視覚言語モデル向けベンチマークDuoCook

投稿者: 亜美と智也のAI論文解説 編集部

DuoCookは、1つの視覚言語モデルが2人を同時に操作し、調理の順序・共有設備・地形変化・受け渡しを計画する能力を測るUnreal Engineベンチマークです。20マップ・5カテゴリで、スコア、注文完了率、配膳精度、操作受理率、API費用を評価します。

8月 26 2026
0

LLMの価値観は測定方法で変わる?「STONIC」が示す評価契約の設計

投稿者: ユウ

TL;DR LLMの価値観を測る方法(評価・選択・自由記述)は、それぞ…

8月 25 2026
0

人材探しを要件定義として解く:DINQ TalentScoutの設計と検証

投稿者: ユウ

TL;DR DINQ TalentScoutは、曖昧な自然言語での人材…

8月 24 2026
0

LLMによる理論計算機科学研究の実態を評価するFORMALTCSベンチマーク

投稿者: ユウ

TL;DR FORMALTCSは、2025-2026年のトップ会議(S…

8月 24 2026
0

仕様書がLLMの出力を本当に決めるのか?実行判定ベンチマークで検証

投稿者: ユウ

TL;DR LLM開発エージェントが仕様書をどれだけ守るかを、実行結果…

8月 23 2026
0

LLMエージェントの記憶を安全に保つ:記憶と確認の境界を評価するベンチマーク

投稿者: ユウ

TL;DR LLMエージェントが会話から得た情報を「永続記憶」「一時利…

8月 22 2026
0

契約書レビューAIの実力評価:ContractScrubベンチマークの概要

投稿者: ユウ

TL;DR ContractScrubは、契約書の最終レビュー(スクラ…

8月 21 2026
0

LLMは数値と文章が矛盾したとき、どちらを信じるのか?仲裁行動の実測と実務への示唆

投稿者: ユウ

TL;DR LLMが数値時系列と自然言語要約で結論が食い違うとき、どち…

8月 21 2026
0

ワイン知識ベンチマークOenoBench:LLM評価の新手法と実務への示唆

投稿者: ユウ

TL;DR OenoBenchは、ワイン領域に特化した3,266問の多…

投稿のページ送り

1 2 … 15 次へ

Archives

  • 2026年10月
  • 2026年8月
  • 2026年7月
  • 2026年3月
  • 2026年2月
  • 2026年1月
  • 2025年12月
  • 2025年1月
  • 2024年12月
  • 2024年11月
  • 2024年10月
  • 2024年9月
  • 2024年8月
  • 2024年7月
  • 2024年6月
  • 2024年5月
  • 2024年4月
  • 2024年3月

Categories

  • 3Dモデリング
  • AI
  • テキスト生成
  • 人物-物体相互作用
Proudly powered by WordPress | テーマ: Futurio

亜美と智也について ・ このサイトの計測について