守護神っていうか、AIを使って道路にある信号機や標識の状態を自動でチェックする仕組みの研究だよ。スマートシティを実現するために、道路の設備が壊れていないかとかをAIに監視させたいんだ。

そこが問題なんだ。普通のAIは、あらかじめ教えられた物しか見つけられない「クローズドセット」なモデルが多い。でも道路には新しいデザインの看板や珍しい設備も出てくるだろ？それに、単に「信号がある」だけじゃなくて「電球が切れてる」とか「規格に合ってるか」までの判断は難しいんだ。

まず「Grounding DINO」っていうモデルを使って、言葉で指示したものを画像から探す「オープン語彙検出」を取り入れたんだ。これで、学習していない未知の施設も柔軟に見つけられるようになる。

そう。さらに、見つけた物の細かい状態を分析するために「Qwen-VL」っていうモデルを「LoRA」で微調整している。LoRAっていうのは、モデル全部を書き換えるんじゃなくて、一部に小さな追加パーツを付けることで効率よく専門知識を学ばせる手法のことだよ。

鋭いね。それを防ぐために「RAG（検索拡張生成）」を使っているんだ。AIが答える前に、本物の「道路設置基準」っていうマニュアルや、過去の正解画像データを検索して参照する仕組みだよ。二つのモード（テキストと画像）で検索するから「デュアルモダリティRAG」って呼ばれている。

属性の認識精度は95.5%という驚異的な数字が出たんだ。しかも、結果を「JSON」っていう、コンピューターがそのまま処理しやすいデータ形式で出力してくれるから、そのまま管理システムに登録できるんだよ。

そうだね。将来的には自動運転車と連携したり、リアルタイムで街の異常を発見したりできるようになるはずだ。ただ、まだ複雑な天候や夜間の視認性には課題があるから、そこが今後の研究課題かな。