解説ねえ智也、この論文のタイト…
解説
ねえねえ、智也くん！これ見てよ、「MultiParTweet」って論文。なんかすごそうなタイトル！
ああ、あの論文か。政治家のSNS投稿と議会での発言をセットにしたデータセットを作った研究だよ。
え、SNSと議会発言？なんでそれを一緒にするの？
今の政治はSNS、特にXがすごく重要だろ？若い人とのコミュニケーションもそこで行われるし、政治家の本当の考えや戦略が表れることもある。でも、議会での公式な発言と、SNSでのカジュアルな発言は別物に見えるかもしれない。この研究は、その両方を比較分析できるようにするための「データの土台」を作ったんだ。
なるほど！データの土台か。で、具体的に何をしたの？
まず、ドイツの政治家たちのX投稿を約4万件集めた。そのうち約半分は画像や動画付きだ。そして、これらの投稿に「自動でラベル付け」をした。
自動でラベル付け？どんなラベル？
主に3種類だ。「感情」（嬉しい、怒っているなど）、「話題」（経済、環境など）、「センチメント」（ポジティブ、ネガティブなど）のラベルを、AIモデルを使って自動で付けたんだ。
へー！でも、AIが付けたラベルって正確なの？
良い質問だ。そこがこの研究の面白いところで、2種類の方法で試している。一つは「テキストだけ」を読ませる従来型のAI。もう一つは「画像や動画も一緒に」理解できる、より新しいタイプのAIだ。
画像も動画も理解するAI？すごい！それで、どっちが良かったの？
実験結果では、人間が手動でラベル付けしたものと比べた時、画像や動画も理解するAIの方が、人間の判断に近いラベルを付ける傾向があったんだ。
そっか！だって、私たちもツイートを見る時、文字だけじゃなくて画像も見るもんね。例えば、にこってした顔の写真があれば、ポジティブな感じがするし。
その通り。この研究は、SNSの投稿を分析する時は、テキストだけじゃなくてメディア情報も一緒に見ないと、本当の意味を取り違える可能性があるってことを示したんだ。
すごく実用的だね！これって、将来どう役立つの？
まず、政治学者が「政治家の二面性」を分析するのに使える。議会では穏やかでも、SNSでは過激な発言をしてるのか、とか。あとは、選挙運動の効果測定や、フェイクニュースの拡散パターンの分析にも応用できるだろう。
私たち有権者にも関係ありそう！
そうだね。ただ、課題もある。データのプライバシーや著作権の問題で、実際のツイート本文や画像は公開できず、IDだけを公開している。あと、使ったAIモデル自体にもバイアスが含まれている可能性は否定できない。
ふむふむ…。でも、智也くんの説明で、なんだか政治とAIが身近に感じられたよ！
それは良かった。君が興味を持ってくれて。
ねえ、この技術で私のツイートも分析して、私が今日どんな気分か当ててみない？
…君のツイートは「天然」という感情に分類される特殊なカテゴリーが必要だと思うよ。
要点
ドイツの政治家のX（旧Twitter）投稿と議会発言記録を結びつけた多言語・マルチモーダルコーパス「MultiParTweet」を構築した。
コーパスには39,546件の投稿（うち19,056件に画像・動画などのメディアが含まれる）が収録され、感情・トピック・センチメントの自動注釈が付与されている。
テキストのみを処理する9つのモデルと、画像・動画も処理できるマルチモーダルLLM（Vision-Language Model）の両方を用いて注釈を行い、その性能を手動注釈と比較して評価した。
データ収集用の汎用ツール「TTLABTweetCrawler」も公開し、再現性を確保している。
分析の結果、異なるモデルの出力は互いに予測可能であり、また人間の評価者はマルチモーダルLLMによる注釈を好む傾向があった。これは、マルチモーダルな情報が人間の解釈に近いことを示唆している。