いや、物理的なパトカーの話じゃないよ。これはLLMを使って、事故とかが起きた時の交通信号を賢くコントロールしようっていう研究だね。

最近は「適応型交通信号制御」っていって、車の量に合わせてタイミングを変えるシステムもあるんだ。でも、急な事故や工事が起きると、今のシステムじゃ対応しきれなくて大渋滞になっちゃう。結局、警察官が手動で操作することになるんだよ。

そう。でも、LLMに直接信号を操作させると、たまにデタラメな指示を出す「ハルシネーション」が怖いし、反応が遅いっていう問題があるんだ。だからこの論文では、LLMを「司令塔」にして、実際の操作は従来の確実なシステムに任せるっていう「階層型」の仕組みを提案してるんだよ。

LLMが事故の状況を読み取って、下のシステムに「今はこっちの車線が詰まってるから、この数値を書き換えて！」って指示を出すんだ。この時、RAGっていう技術を使って、過去の似たような事故のデータから正しい対処法を検索して参考にしてるんだよ。

違うよ。RAGは「検索拡張生成」の略で、AIが自分の知識だけで答えるんじゃなくて、外部のデータベースから必要な情報を探してきて、それを元に回答を作る仕組みのことだね。これに加えて、LLMが自分の出した指示が正しいか自分でチェックする「検証器」も付いてるんだ。

シミュレーションの結果だと、従来のやり方よりもずっと効率的に車を流せたみたいだよ。特に、今まで想定してなかったような珍しい事故が起きても、ちゃんと対応できたのがすごいところだね。

それはただの職権乱用だし、そもそも亜美さんにデートの予定なんてないだろ。……まあ、将来的には自動運転車と連携して、街全体の交通を最適化する基盤になる可能性はあるね。

まだシミュレーション段階だから、実際の複雑な街角でどう動くかとか、カメラの映像から正確に事故状況を読み取れるかとか、解決すべき点はまだあるよ。でも、LLMの推論能力をインフラに組み込む良いモデルケースだと思う。

それはただのサボりだろ。大学くらいちゃんと行けよ。

守護神っていうか、AIを使って道路にある信号機や標識の状態を自動でチェックする仕組みの研究だよ。スマートシティを実現するために、道路の設備が壊れていないかとかをAIに監視させたいんだ。

そこが問題なんだ。普通のAIは、あらかじめ教えられた物しか見つけられない「クローズドセット」なモデルが多い。でも道路には新しいデザインの看板や珍しい設備も出てくるだろ？それに、単に「信号がある」だけじゃなくて「電球が切れてる」とか「規格に合ってるか」までの判断は難しいんだ。

まず「Grounding DINO」っていうモデルを使って、言葉で指示したものを画像から探す「オープン語彙検出」を取り入れたんだ。これで、学習していない未知の施設も柔軟に見つけられるようになる。

そう。さらに、見つけた物の細かい状態を分析するために「Qwen-VL」っていうモデルを「LoRA」で微調整している。LoRAっていうのは、モデル全部を書き換えるんじゃなくて、一部に小さな追加パーツを付けることで効率よく専門知識を学ばせる手法のことだよ。

鋭いね。それを防ぐために「RAG（検索拡張生成）」を使っているんだ。AIが答える前に、本物の「道路設置基準」っていうマニュアルや、過去の正解画像データを検索して参照する仕組みだよ。二つのモード（テキストと画像）で検索するから「デュアルモダリティRAG」って呼ばれている。

属性の認識精度は95.5%という驚異的な数字が出たんだ。しかも、結果を「JSON」っていう、コンピューターがそのまま処理しやすいデータ形式で出力してくれるから、そのまま管理システムに登録できるんだよ。

そうだね。将来的には自動運転車と連携したり、リアルタイムで街の異常を発見したりできるようになるはずだ。ただ、まだ複雑な天候や夜間の視認性には課題があるから、そこが今後の研究課題かな。