TL;DR
FlinkEvalは、Confluent Cloud上のApache Flinkで参照SQLを実行検証して作るストリーミングNL2SQL向け合成ベンチマークです。3,903組のNL–SQLペアを45ドメインで用意し、ウィンドウ・時間結合・パターン一致・ネスト型・DMLを含みます。7段階の質問仕様ラダーで仕様の曖昧さとモデル性能を分けて評価します。5モデル比較ではフロンティア4モデルが65–80%のjudge-pass、GPT-OSS-120Bは35.0%で、複数パターン構成と未明確な依頼が課題でした。合成データとCC Flink固有の制約には注意が必要です。
既存手法との違い
原論文はSpiderやBIRDなど既存NL2SQLベンチマークとの目的の違いを述べるが、同一条件での既存手法との直接比較は行っていない。実験は5モデルの単一LLMベースラインを同一666問で比較し、few-shot・retrieval・repairは使わない。フロンティア4モデルは65–80%のjudge-pass、GPT-OSS-120Bは35.0%で、フロンティアとOSSの差が大きい。複数パターン(tier 3)では全モデルで精度低下、ストリーミングはスナップショットより7–11ポイント低い。
使える条件
入力は自然言語質問とドメイン内全テーブルのDDL。対象はConfluent Cloud上のApache Flink SQLで、参照SQLは実クラスタで実行され非空結果を返すよう検証済み。モデル比較はrelease v3.1のheld-out test 666問、L0 schema-explicit質問を使用。TUMBLE/HOPを含む115問は既知のCC Flink不具合SQL-5248のため除外。質問仕様ラダーは全変種が検証済みの600問でGPT-6-Astraが7段階を生成。CC Flink方言外や実ユーザーログへの適用性は提示本文からは確認できない。
限界と未検証の範囲
合成スキーマ・合成データ・合成質問に基づくため、実運用の分布や多言語・他エンジンへの一般化は未検証。ストリーミング結果は観測期間が有界で、実行エラー率は意味的正しさを示さず、ExAccは報告していない。DML 81件は全モデルで実行失敗し、背景モードのpass率は実行成功ではなくjudged SQL qualityを反映する。TUMBLE/HOPは除外、tier 3はn=100で不確実。LLM-as-judgeは判定基準やモデルに敏感で、L2.1は項目単位の曖昧さを確定しない。
図1: 提案手法の概要(本記事による図解)
解説

ねえ智也くん、この「FlinkEval」って論文、ストリーミングSQLのNL2SQLのベンチマークなんだって?面白そうだね!

ああ、亜美。既存のNL2SQLベンチマークはほとんどが静的なリレーショナルデータを対象にしてて、ストリーミングの意味論はあまり評価されてこなかったんだ。FlinkEvalはそこを埋めるために作られた合成ベンチマークだよ。

ストリーミングって、Apache Flinkとかだよね?普通のSQLと何が違うの?

Flinkみたいなストリーミングエンジンは、イベント時間やウォーターマーク、時間的な関係、チェンジログの振る舞いとかに依存するんだ。だから、テーブルとカラムを選ぶだけじゃなくて、生成されたクエリがエンジンの時間的・運用的な意味論を守らないといけない。例えば、構文的に正しいパターンマッチングのクエリでも、入力がアップデートを出す場合は失敗することがあるんだよ。

へえ、難しそう。で、どうやってベンチマークを作ったの?

45の業界ドメインにわたる3,903組の質問とSQLのペアを合成したんだ。スキーマと時間的に一貫したデータを生成して、人間が書いたペアやベンダーのドキュメントから集めたSQLパターンを使って、クォータバランスを取って生成する。Confluent CloudのApache Flinkで実行して、修復ループで検証するから、参照クエリはウィンドウ処理や時間結合、パターンマッチング、ネスト型、DMLなんかをカバーしてる。

実行して検証するってのがポイントなんだね。あと、質問の仕様のラダーってのもあるみたいだけど?

そう、7段階のQuestion Specification Ladderがあって、意味を保った言い換えと、オラクルから得た手がかりで補った未明確なリクエストを区別して評価できる。スキーマを明示したL0から、ビジネス言語で未明確なL2.1、そして手がかりを追加したL2.2〜L2.4まであるんだ。

なるほど。評価はどうだったの?

5つのモデルを比較して、フロンティアの4モデルはjudge-pass率が65〜80%だったけど、GPT-OSS-120Bは35.0%だった。複数のパターンを組み合わせたクエリでは全モデルで精度が下がるし、ストリーミングクエリはスナップショットより7〜11ポイント低い。あと、DMLの81文は全モデルで実行に失敗したんだ。

へえ、そんなに差があるんだ。でも、合成データだから実運用とは違うかもしれないよね?

そう、そこは注意が必要。合成スキーマ・合成データ・合成質問に基づいてるから、実運用の分布や多言語、他のエンジンへの一般化は未検証だ。それに、TUMBLEやHOPを含む115問はConfluent Cloud Flinkの既知の不具合(SQL-5248)で除外されてるし、tier 3はn=100で不確実性が高い。LLM-as-judgeも判定基準に敏感で、L2.1は項目単位の曖昧さを確定しないんだ。

ふーん、でもストリーミングNL2SQLの評価の第一歩としては面白いね。あ、でもさ、これって「ストリーミング」って言うから、私の推しのライブ配信もストリーミングだけど、SQLで「いいね」をリアルタイム集計とかできるのかな?

それはただの願望だろ。ていうか、推しの配信をSQLで集計しようとしないでくれ。