ViTは高解像度になるとトークン数が増えて自己注意が重くなる。で、既存の削減は単層の注意スコアやコサイン類似度みたいな局所指標を使うから、attention sinkに引っ張られやすい。

そう。論文では、意味的に大事じゃないトークンに注意が偏る現象として扱ってる。既存法は大きな注意＝重要とみなしがちで、小さな前景物体を落とす危険がある。

うん。ViTの情報流をLazy Random Walkとして累積し、P(t)を作る。シンクが現れる層t*を列和の閾値τで検出して、[CLS]の注意のargmaxをシンク位置の代理にする。

そう。累積遷移行列の空間で、各トークンとシンクの拡散距離Dを計算する。それを正規化してK個の放射状クラスタに分けるのがRadial Diffusion Clustering。シンクに近いC1を背景側として、Transition Weight Poolingで1トークンに圧縮する。

C2以降はそのまま保持。極端に圧縮したい時は既存のプラグインpruningを後段で使える。全部一回のforward、早期層t*でやるのがミソ。

画像はImageNet-1KでDeiT、ViT-AugReg、LV-ViT-S。動画はKinetics-400のCLIP ViT-Large、VLMはLLaVA。比較は主に学習不要のトークン削減手法で、表ではToMe、PPT、Zero-TPrune、SparseVLM、VisionZip、PruneSIDとか。

論文の報告だと、DeiT-Baseのpooling版で精度低下0.12%、スループット最大48%向上。動画でも精度低下を抑えてる。ただしこれは提示された条件での報告で、全部に一般化できる数字じゃない。

そこが面白いところ。局所指標じゃなく累積情報流の距離で前景と背景を分ける。学習不要で、距離計算はO(N^2)、クラスタ割当はO(N log N)って整理されてる。

ある。評価はImageNet-1K、Kinetics-400、LLaVAに限られてる。K、τ、αやt*検出への依存もある。比較の主眼は学習不要手法で、学習あり手法全般との比較は本文からは確認できない。RAGとかテキストLLMへの適用も不明。極端な予算ではプラグインpruning依存。動画はフレームごとにシンクが動くから再計算が要る。

沈むsinkと混ぜるな。

ああ、VLMの安全性を評価するときに、最終的な応答だけ見るんじゃなくて、その応答が正しい根拠に基づいているかまでチェックするフレームワークだよ。

そう。例えば、画像に危険なものが写ってるのに、テキストの説明だけで安全と判断してたら、たまたま正解してるだけかもしれない。EviSafeはそういうのを検出するんだ。

EviSafeBenchっていうベンチマークを作って、1,181シナリオと2,452の反事実的バリアントを用意したんだ。反事実的っていうのは、安全判断に効く証拠を変えたときに、モデルの行動が変わるかどうかを見るってこと。

画像の中の危険な物体を消したり、テキストの説明を変えたりして、モデルがそれに応じて判断を変えるか確認するんだ。もし証拠が変わっても同じ答えだったら、正しい理由で判断してないってことになる。

そう言えるね。最終応答だけ見てると、たまたま正解してるモデルを安全だと誤認するリスクがある。EviSafeはその問題を可視化したんだ。

反事実的バリアントを自動生成してるから、現実の多様な状況を完全にカバーできてるわけじゃない。あと、評価指標が「深刻度」に焦点を当ててるから、他の安全性の側面は見えてないかもしれない。

そうだね。少なくとも、最終応答だけ見て安心するのは危険だってことは明確に示してる。

まあ、AIに聞くのも一つの手だけど、結局は人間が判断しないとね。

ああ、蒸留は機械学習の用語で、大きなモデルの知識を小さなモデルに移すことだよ。INDIはロボットの行動デコーダに『意図』を教える手法なんだ。

うん、デモンストレーションから行動の目的を抽出するんだ。例えば、コップを掴む動作でも、『飲むため』なのか『片付けるため』なのかで意図が違う。それを教師VLMが抽出して、デコーダの中間層で再現させるんだよ。

単に動作を真似するだけだと、環境が変わったときに対応できないんだ。意図を理解していれば、同じ目的を達成するために別の動作を選べるからね。

実世界でも62.0%から68.7%に上がったよ。特に長期的なタスクでは最大12ポイントも改善したんだ。

実世界はノイズや環境の変化が大きいからね。それに、教師VLMが抽出する意図が完璧とは限らない。あと、デコーダの構造によっては蒸留がうまくいかない場合もあるみたい。

そうだね。特に、ロボットが複雑なタスクをこなすときには、意図の理解が重要になるから、今後の発展が期待できるよ。

その前に、君の『宿題をやる』って意図を汲んで、自分でやってくれるロボットが欲しいけどね。

ああ、これはGoogleストリートビューの画像を使って、郊外の歩きやすさを自動で診断する仕組みだよ。従来は現地調査が必要だったけど、それを大規模に自動化できるんだ。

そこがポイントで、視覚言語モデル（VLM）っていうAIを使ってるんだ。画像を見て、歩道の有無とか店舗の入口の密度とか、植生のタイプをテキストで説明させるんだよ。

論文では、複数のVLM（GPT-4oとかGemini 1.5 Proとか）を比較してて、特にGPT-4oが高い精度だったみたい。でも、単純に一つのモデルに頼るんじゃなくて、複数モデルの結果を組み合わせて合意形成推論ってのをやってるんだ。

そう。複数のモデルが同じ画像を見て、それぞれの回答を統合することで、より信頼性の高い評価を出してるんだ。あと、地理的に一貫した視点生成っていう工夫もあって、近くの画像同士で矛盾がないように調整してる。

郊外は車依存になりがちで、歩行環境が軽視されがちだからね。この手法で歩きやすい街づくりに役立てたいっていうモチベーションがあるんだ。実際、日本の郊外都市でテストして、現地調査と比較して高い相関があったらしい。

うん、ストリートビューの画像が古い場合があるし、天候や季節で見た目が変わるから、評価が安定しないこともある。あと、VLMの判断が完全に正しいわけじゃないから、誤差はまだあるね。

そうかもね。でも、AIに道案内されるより、実際に歩いて確かめた方が早いと思うけど。

…それはAIの仕事じゃなくて、俺の仕事になるんだけどな。

ああ、VLMの強化学習では、ロールアウト（推論）と参照モデルでのスコアリング、あと学習のためのプレフィックス処理があるんだけど、従来はこれらを直列にやってたんだ。つまり、推論が終わってからスコアリング、その後に学習、って順番にね。

理由はいくつかあるけど、一番大きいのはGPUメモリの競合だね。推論と学習を同時にやろうとすると、それぞれがGPUメモリをたくさん使うから、メモリが足りなくなっちゃう。それに、モデルの重みを共有するのも難しい。

Rollplexは、GPUの空間をうまく分割して、推論と学習のタスクを同時に実行するんだ。具体的には、メモリ管理を工夫して、重みを共有しながらも、それぞれのタスクが干渉しないようにしてる。

強化学習では、モデルの更新が同期しているかどうかが重要で、Rollplexは、推論と学習を並列にやっても、あたかも直列にやったのと同じ結果になるように設計されてるんだ。つまり、学習の安定性を損なわないってこと。

うーん、まだ研究段階で、特定のモデルやタスクにしか試してないかもしれない。あと、GPUのメモリ管理が複雑だから、実装が難しいかもしれないね。

そうだね。ただ、まだまだ課題はあるけどね。

それはよかった。でも、まだまだ勉強することはたくさんあるよ。

その時は、Rollplexみたいに速く書けるといいね。

普通のOCRはデジタル文書向けに作られてるから、カメラで撮った写真みたいに歪んだり傾いたりすると精度が落ちるんだ。NaviDC-OCRはその両方に対応できるようにしたんだよ。

学習のときにわざと変形を加えた画像を使うんだ。それでモデルが歪みに強くなるように訓練してる。

うん。構造と内容を分けて学習するんだ。表の枠組みや数式のレイアウトを構造として捉えて、中の文字を内容として別に認識する。これで複雑なレイアウトでも正確に解析できるようになった。

いくつかのベンチマークで最高性能を達成してるよ。特にカメラ撮影文書の認識精度が大幅に改善されてる。

そうだね。でもまだ課題もあるよ。例えば、極端に歪んだ画像や、手書き文字が混ざった文書ではまだ完璧じゃない。あと、計算コストが高いから、スマホで動かすには最適化が必要だね。

それはさすがに無理だよ。ノートの内容を理解するのはAIでも難しいからね。

ああ、つまりVLMは映像を見て答えが確定しない状況を内部の表現では検出できるのに、実際の出力では「分からない」と言えずに、間違った答えを生成しちゃうってこと。

それが「表現ギャップ」って呼ばれる問題で、モデルが不確実性を内部で持っていても、それを自然言語で表現する訓練が十分じゃないからだと考えられてる。

TRAPSBenchっていうベンチマークを作って、1,404組の物理シミュレーション動画ペアを使ったんだ。片方は答えが確定する動画、もう片方は遮蔽とかカオスとか質問が不備で答えが確定しない動画。

新しい指標PECSっていうのを使って、モデルが不確実なときに正しく「分からない」と答えられるかを測ったんだ。

うん、明示的に「分からない」を促すと抑制が1.9倍向上したんだ。でも、視覚的な不確実性はテキスト的な不確実性より約4倍検出されにくいって結果も出てる。

そう。この研究の意義は、VLMが不確実性を内部で持っているのに出力に反映できないことを定量的に示したことだね。今後の改善の手がかりになる。

ああ、物理シミュレーションの動画だけを使ってるから、実世界の複雑な映像にはそのまま当てはまらないかもしれない。あと、PECSの定義もまだ改善の余地がある。

はは、確かに。でも、その学生も内部では「分かってない」って気づいてるんだから、まだ救いようがあるかもね。

画像キャプションの正確さを、もっと細かくチェックする新しいベンチマークだよ。今までの評価は大雑把すぎて、細かい事実の間違いを見逃してたんだ。

画像を意味のある領域に分割して、それぞれの領域について質問を生成するんだ。平均74問も。質問は10カテゴリに分かれてて、多肢選択式になってる。

そう。しかも、モデルにキャプションだけを見せて回答させるんだ。画像は見せない。

その通り。キャプションに書いてないことは答えられないから、未回答と誤答を区別するためにUncertainオプションを導入したんだ。

うん。それで、単純な正解率じゃなくて、Effective Accuracyっていう指標を使って評価する。未回答を罰しないようにしてるんだ。

そこも考えてあって、密度指標っていうのを導入してる。冗長な記述を罰するんだ。

13のVLM（視覚言語モデル）を評価したよ。モデルによってカバレッジ（どれだけ多くの質問に答えられたか）に大きな差があった。

あと、能力と効率のトレードオフも明らかになった。高性能なモデルは計算コストが高い傾向がある。

うーん、質問生成が自動だから、質問の質にばらつきがあるかもしれない。あと、領域分割の方法によって結果が変わる可能性もある。

そうだね。特に、画像キャプションは視覚障害者向けの支援などに使われるから、正確さは重要だ。

それは君のキャプションが悪いんじゃなくて、君の知識が足りないだけだと思うよ。

ああ、要するに、既存のテーブル解析モデルはベンチマークでは高スコアでも、実際の複雑なテーブルではよく失敗するんだ。その問題を可視化して、モデルを再学習せずに改善する方法を提案してるんだよ。

ベンチマークのテーブルはきれいで単純なことが多いけど、実世界のテーブルは複雑で、結合セルや階層構造、欠損値なんかがあるからね。モデルがそういうのに弱いんだ。

まず、916枚の実テーブルからなる診断ベンチマーク『TableParseMap』を作って、失敗を5つのシナリオと9つのタイプに分類したんだ。これでどこで失敗するかが明確になった。

再学習には大量のデータと計算資源が必要だし、既存のモデルをそのまま使えるから、コストが抑えられるんだ。それに、凍結したパーサーを改善するというアプローチは実用的なんだよ。

そうだね。DECは特定のタイプの失敗には効果的だけど、すべてのケースで完璧というわけじゃない。特に、非常に複雑なレイアウトや、データが極端に欠けているテーブルではまだ改善の余地があるみたい。

そうだね。ただ、この論文を読むときは、ベンチマークのスコアだけに惑わされないように気をつけてね。

それは自覚してるんだ。まあ、それなら安心かな。

ああ、これは視覚言語モデル（VLM）を使った脳腫瘍の鑑別診断の研究だよ。画像のスライス順を逆にしたり、ラベルの順番を変えたりすると、予測結果が変わっちゃうんだ。

実はね、スライス順を逆にすると最大48.9%の症例で予測が反転したんだ。ラベル順を入れ替えると最大67.8%にもなる。

脳MRIのデータセットを使って、膠芽腫（GBM）と転移性脳腫瘍（MET）の鑑別をVLMにやらせたんだ。で、入力のスライス順を正順・逆順・シャッフル、ラベル順も変えて、予測がどれだけ変わるか比較した。

そう。だからこの研究は、高精度なAIでも臨床での信頼性は過大評価される可能性があるって警告してるんだ。

VLMはテキストと画像を一緒に処理するから、ラベルの順序がプロンプトの文脈に影響するんだ。画像スライスも、モデルが全体像を捉えるときに順序に依存してしまう。

うん、一つのデータセットと特定のVLMに限ってるから、他のモデルやデータでも同じかはわからない。あと、実際の臨床環境での影響までは調べてない。

はは、確かに。でも学生は「わからない」って言えるけど、AIはそれができないからね。