まず普通のConformal Predictionは、校正分布とテスト分布が同じ前提で被覆を保証する。でも分布シフトがあると、その前提が崩れる。

そう。既存のやり方は主に周辺のconformal score分布を合わせる。それだと周辺被覆は保てても、入力ごとの条件付き被覆のずれは制御できない。

うん。論文はまず、その条件付き被覆の悪化を測るためにCCGと、そのテスト分布での期待値ICGを定義する。

その理解でいい。で、ICGを校正分布とテスト分布のWasserstein距離で上から抑えられることを示す。

そういう見方。そこから、可逆な変換でテスト入力を校正分布側へ寄せれば条件付き被覆を守りやすい、という発想になる。

BNFはfθ(x,y)=(fθX(x),fθY(y))の形で、xとyを別枝で変換する。推論時は真のラベルyなしでxを正規化できる。

その通り。可逆性があるから、条件付き保証を引き継げる。ただy枝が一変量で単調だと表現力が制約されるから、ガウス雑音を加えるAugmented BNFも使う。

論文は9データセットで、合成の分布シフトに加えて、時系列の売上予測、交通予測、異なる集団の医療意思決定、パンデミック期間の流行モデリングまで扱う。複数の信頼水準で条件付き被覆の頑健性が一貫して改善した、と報告している。

既存手法としては、周辺のconformal score分布の整合を主に扱うCP、MSDG向けの保守的CP、周辺被覆と予測集合サイズのバランスを取る手法、連合CPが関連として挙がる。BNFは条件付き被覆の頑健性を狙う点が違う。でも具体的な比較条件や数値はこの本文からは確認できない。

そう。ただし対象は回帰CPと絶対残差などのscoreが中心で、理論上界はκやL、ηなどの定数に依存する。有限サンプル挙動は付録で検討するとの記述はあるが、本文だけでは詳細は確認できない。y枝の単調性による制約や、分類・高次元設定・運用コストもこの本文では未検証だ。

起きる時刻に条件付き被覆も何もないだろ。

ああ、自然言語で書かれたワークフローをAIエージェントに実行させるとき、データの依存関係が曖昧で、複雑な制御フローを誤解しやすいんだ。

例えば「レポートを書いて、それをPDFに変換して、上司にメールで送る」みたいな指示。でも、どのステップがどのファイルを使うかが明確じゃないと、エージェントが間違った順序で実行したり、必要なデータを渡せなかったりする。

そう。そこでARTICっていう手法が提案されてるんだ。各ステップが読み書きする成果物（アーティファクト）を明示して、制約付き最適化と検証を組み合わせることで、実行の信頼性を上げてる。

まず、ワークフローの各ステップがどの成果物を入力として使い、どの成果物を出力するかを定義する。それから、制約付き最適化で実行順序を決めて、各ステップの出力を検証するんだ。

うーん、まだ成果物の定義が複雑なワークフローだと、最適化が難しくなるかもしれない。あと、検証が厳しすぎると、正しい実行でも失敗と判定される可能性もある。

それはまだ無理だと思うけど、少なくともワークフロー実行の信頼性は上がるよ。

RAGは検索拡張生成のことだよ。AIが外部の文書を検索して、その情報をもとに回答を生成する仕組み。でも、その文書が正しいかどうかが問題になるんだ。

そう。特に医療とか金融みたいな高リスクな分野だと、誤情報が大きな問題になる。そこでTrustRAGっていうフレームワークが提案されたんだ。

まず、文書を登録するときに専門家委員会が事前に認証するんだ。これで信頼できる文書だけが使われるようにする。

そこがポイント。認証された文書のランキングを決めるスコアを集計するときに、ゼロ知識証明と秘密分散を使ってプライバシーを守りながら集計するんだ。

うん。さらに、ハッシュコミットメントを使ってクロスチェーンで結合するから、改ざんができないようになってる。

専門家委員会のコストが高いことと、ブロックチェーンの処理が遅いことが課題だね。あと、ゼロ知識証明の計算も重い。

そうだね。特に高リスク領域では価値があると思う。

それは言えてる。でも、信頼性とトレードオフだね。

それは無理なお願いだな。

そう。要するに、LLMに稀な失敗を経験させると、その説明の仕方や自信の表し方が変わるかどうかを調べた研究だよ。

モデルにタスクを解かせて、わざと失敗させる状況を作るんだ。失敗の頻度を高くしたり低くしたりして、その後の説明の長さや自信の度合いを比較した。

面白いのは、説明を即座に強制する条件のときだけ、失敗が稀になるほど説明が長くなったんだ。でも、ある程度まで行くと伸びが止まって、プラトーに達した。

まあ、そういう解釈もできるね。ただ、説明を強制しない条件では、その傾向は見られなかった。

おそらく、説明を求められると、モデルは自分の応答をより意識的に生成するようになるからだと思う。失敗が稀だと、その失敗を特別視して、より詳細に説明しようとするんだろう。

モデルによっては、自発的に自信を報告する行動が見られたよ。つまり、説明の中で「これは自信がある」とか「自信がない」とか言うことがあるんだ。

例えば、AIが間違いを犯したときに、その説明が十分かどうかを判断する手がかりになるかもしれない。特に、稀な失敗は見逃されやすいから、説明が長くなる傾向があるなら、それを検出しやすくなる。

そうだね。まず、実験で使ったタスクやモデルが限られているから、一般化できるかはわからない。それに、説明の長さが必ずしも説明の質を反映しているわけではない。

あと、自信の報告も、モデルが実際に自信を持っているかどうかとは別問題だから、注意が必要だ。

まあ、あくまで統計的な傾向だから、人間の心理と同じとは言えないけどね。

それは余計なお世話だよ。

ああ、簡単に言うと、AIがタスクをこなすために複数のステップを踏むシステムだよ。例えば、調べ物をして、計算して、結果をまとめる、みたいな。

この論文では、各ステップの出力埋め込み、不確実性、アクション情報っていうテレメトリだけを使って、約200マイクロ秒で検知する軽量モニタを提案してるんだ。

エコー状態ネットワーク（ESN）とCUSUMっていう統計的手法を組み合わせてるんだ。ESNは時系列パターンを学習するのに向いてて、CUSUMは異常を検知するのに使う。

2,823エピソードで検証してるんだけど、内容破損みたいな盲点があって、接地チャネルを追加することで改善したんだ。0.28から0.59に上がった。

簡単に言うと、外部の知識や事実と照合するための追加情報だよ。それで、内容が壊れてるのを検知しやすくなった。

うん、有機的失敗への転移は弱いんだ。つまり、学習したパターンと違う新しいタイプの失敗には対応しにくい。

決定的検証っていう、数値の整合性をチェックする方法を併用してるんだ。これだと偽陽性ゼロで60%の失敗を検知できて、ロールバック修復と組み合わせると成功率が52%から73%に上がった。

LLMエージェントは実用化が進んでるけど、失敗すると大きな問題になることがある。軽量でリアルタイムに検知できれば、コストを抑えつつ安全に使えるからね。

まあ、AIも完璧じゃないからね。でも、こういう研究の積み重ねで少しずつ良くなっていくよ。

その前に、自分で宿題を終わらせたほうがいいと思うよ。

まあ、確かにインパクトはあるけど、中身は結構しっかりしてるよ。WixのカスタマーケアAIに実際に導入されたらしい。

従来はLLMがスキルを選ぶときに、意味的な関連性だけ見てたんだ。でも、それだと実行できないスキルも選んじゃうことがある。

例えば、ユーザーのアカウントが有料プランじゃないのに、有料機能を使うスキルを選んじゃうとか。

そこでこの論文では、スキルを選ぶ前に3段階のパイプラインで実行可否を判定するんだ。

まず、スキルの説明とユーザーの意図を意味的にマッチングさせる。次に、アカウント状態などの実行条件をチェックする。最後に、実行可能なスキルだけをLLMに渡すんだ。

そう。特に2段階目のゲートが重要で、ここで実行不可能なスキルを決定的に除外するんだ。

うん。LLMの確率的な判断に任せるんじゃなくて、ルールベースで確実に弾くんだよ。

むしろ、実行不能なスキルが選ばれるのを防げるから、精度は上がるらしい。

うーん、このパイプラインはスキルの数が少ないときは効果的だけど、スキルが増えると管理が大変になるかもしれない。

あと、この方法はスキルの実行条件が明確に定義できる場合に限られる。

そうだね。LLMに任せきりにするんじゃなくて、人間がルールで補完するっていうのがポイントだね。

うん、AIを信頼しつつも、必要なところは確実にチェックするっていうバランスが大事だよ。

はは、でもその『待ってろ』が大事なんだよ。AIも喜んでるさ。

ああ、これはLLMが上流のモデルから得た推定値を、まるで事実のように扱ってしまう問題を扱ってるんだ。例えば、心拍数を推定するモデルがあって、その出力をLLMがそのまま信じて判断すると、誤った結論を出しやすいってこと。

そう。その現象を「Derived-Feature Over-Trust (DFOT)」って呼んでるんだ。要するに、派生した特徴量を過信するってこと。

彼らはECG（心電図）を特権情報として使って、信頼性エビデンスをLLMに与えるんだ。つまり、心拍数の推定値がどれくらい信頼できるかを、ECGから得られる情報で補完するってわけ。

ECGは心拍リズムの真値に近い情報を持ってるから、それをLLMに追加で渡すことで、推定値が正しいかどうかを判断する材料になるんだ。

そこも検証してて、エビデンスの特異性も確認されたんだ。つまり、心拍に関係ない情報には影響を与えず、心拍関連の判断だけを改善するってこと。

LLMを医療とか健康管理に使うとき、推定値をそのまま信じると危険だからね。信頼性エビデンスを付与することで、より安全に使えるようになるってのが意義だと思う。

そうだね。この研究では特定のタスク（心拍リズムの判断）に限定してるし、ECGが常に使えるわけじゃない。あと、LLMのモデルによって効果が変わる可能性もある。

まあ、君の場合は心拍数より運動不足の方が問題だと思うけどね。

ああ、簡単に言うと、LLMの出力が正しいかどうかをチェックする検証器を直列にたくさん繋げば信頼性が上がると思われがちだけど、実はそうじゃないって話だよ。

そう。検証器同士の相関が高いと、指数関数的な改善は期待できなくて、多項式的にしか良くならない。しかも、どの検証器も絶対に見逃す「ブラインドスポット」があると、ゲートをいくら増やしても信頼性は頭打ちになる。

論文では、ゲートを増やすより、モデルの系統やモダリティ（テキストと画像とか）を変えて検証器を無相関化するのが効果的だって言ってる。

シミュレーションと実データの両方で、相関が高いときと低いときの信頼性の推移を比較してる。相関が高いと確かに改善が鈍化して、ブラインドスポットがあると天井ができるって示してるよ。

そうだね…検証器の相関を完全にゼロにするのは現実的には難しいし、ブラインドスポットの特定も簡単じゃない。あと、この理論はあくまで検証ゲートの構成に焦点を当ててて、LLM自体の改善とは別の話だから、そこは注意が必要。

確かに。でも、人間と違って検証器は疲れないから、適切に設計すれば結構使えるよ。

ああ、Future Confidence Distillationってやつだね。簡単に言うと、LLMが答える前と後で確信度の質が違うって話から始まってるんだ。

そう。で、実験すると、回答を生成した後の確信度（JOL）の方が、回答前の確信度（FOK）よりも正確に自信を測れるんだって。

でも回答を生成するのは計算コストが高い。そこで、回答後の隠れ表現から学習した線形プローブを教師にして、回答前の隠れ表現だけを使う予測器に蒸留するんだ。

例えば、AIが「わからない」と早めに判断できれば、無駄な回答を生成しなくて済む。あとは、誤った回答を防ぐ信頼度フィルターにも使える。

蒸留に使う教師モデル自体が完全じゃないから、完璧にはならない。あと、この手法は特定のモデル構造に依存してる部分もあるから、汎用性には課題が残る。

従来のRCA（根本原因分析）は、障害が起きるたびに一から因果関係を探さなきゃいけなかった。でも、クラウドシステムってどんどん複雑になるから、それじゃ追いつかないんだ。

事前に、LLMや過去の障害報告、監視データから「因果関係の知識」を集めて、再利用可能な形でグラフ（MCGって呼んでる）として蓄積しておくんだ。

そう。で、実際に障害が起きたら、その時のリアルタイムデータを使って、ためておいた知識グラフを「インスタンス化」する。つまり、その障害に合わせて具体化して、原因を特定する。

評価結果はかなりいい。従来手法より精度が高くて、システムが複雑になっても計算時間がほぼ線形で増えるだけ。だからスケールしやすい。

あと、別のシステムに適用しても、80%以上の精度を維持できたって書いてある。汎用性も高いってことだ。

当然ある。事前に構築するメタ因果グラフ（MCG）の質が全ての基礎になる。ここに間違いや不足があると、精度が落ちる。あと、全く新しい種類の障害には対応が難しいかもしれない。

そういう学習の仕組みも重要だと思う。論文でも今後の課題として挙げてた。

…その前に、お前が深夜までSNSしてるのを何とかしたほうがいい。