TL;DR
UVM回帰がPASSでも仕様違反が残る「スコアボードエスケープ」に対し、通過済み回帰の内部信号を含む波形をLLMのACCが仕様と照合し、SVA生成→形式検証→反例UVMテストで適格検出する枠組み。OpenTitan 4 IPの68候補中、ACCが55件で変異の影響を報告し、41件を適格検出した。RAGではなく、仕様と信号ダイジェストを直接プロンプトに入れる。
既存手法との違い
提示本文では定量比較は確認できない。既存のLLMベースRTLデバッグ・修復(VCDiag、MEIC、UVLLM)は失敗したシミュレーションを起点にし、PASSした回帰を終点として扱う。AssertLLMは仕様から生成したアサーションを形式検証で評価するが、通過済み回帰のトレースを調べる用途ではない。商用のCertitudeは故障注入でテストベンチを評価するが、各故障ごとに回帰を再実行し、テストベンチを修復しない。BugGenは本フレームワークの一部ではなく、PASSする変異体を残すよう受入規則を反転してベンチマーク構築に使う。
使える条件
既にUVM回帰がPASSしている検証チームが持つ、仕様、RTL、UVM環境、回帰テストとカバレッジ結果を前提にする。ACCはRTLを見ず、仕様と内部信号を含む信号ダイジェストを直接入力される(RAGや外部ツールなし)。SVA生成は仕様と異常報告に加え、RTLインタフェースと最大2階層のRTL抜粋を使い、構文ガードを通す。形式検証はJasperGold、反例再現は既存UVMシーケンスによる directed test を使う。対象は、仕様に明記された要求に違反し、回帰刺激が差分を活性化する非等価変異体。評価はOpenTitanの4 IPとネイティブUVM環境に限られる。参照RTLは注入バグ評価のための計測器であり、フレームワークの必須要件ではない。
限界と未検証の範囲
評価は注入バグ由来の68候補に基づき、等価変異体と非活性変異体は除外される。非活性変異体を活性化するには新しい刺激が必要で、本論文の範囲外。仕様に書かれない振る舞いだけを変える変異体は検出対象外。形式検証で未決定(undetermined)または空証明(vacuous)のアサーションは適格にならない。ACCは最大3回試行して最初の非空結果を採用し、試行結果を統合しないためLLM出力のばらつきが残る。既存UVMシーケンスで反例を再現できない場合、形式検証の検出は残るが directed test は追加できない。バグなし設計でのACC報告はOpenTitanの文書とRTLの矛盾であり、スコアボードエスケープ検出の定量評価とは別。OpenTitan 4 IP以外への一般化は提示本文からは確認できない。
図1: 提案手法の概要(本記事による図解)
解説

ねえ智也くん、UVM回帰が全部PASSしてても仕様違反が残ることあるって論文、ちょっとピンとこないんだけど。

あるよ。スコアボードはモニタが取れた出力と参照モデルの予測を比べるだけだから、テストが踏んだ範囲で一致してても仕様を満たしてる保証にはならない。それをscoreboard escapeって呼んでる。

PASSが出口条件なのに、抜け道があるんだ…。

OpenTitanのPWMコントローラの例だと、スコアボードが位相遅延を測ってなかったり、0%と100%デューティのパルスを飛ばしたり、期待と違う周期のパルスを黙って捨てたりする。だから周期を変えるバグでもPASSのままあり得る。

じゃあ、そのPASSした回帰を疑うって発想がこの論文の出発点?

そう。Verify the Verifierってフレームワークで、通過済み回帰を verdict じゃなく検査対象の証拠として扱う。中心がAnomaly Cross-Checker、ACC。仕様と、内部信号も含む波形の信号ダイジェストをLLMに直接入れて、スコアボードがPASSでも仕様と矛盾しそうな振る舞いを挙げさせる。

ACCはRTL見るの?

見ない。RTLを見せると実装を正解として仕様をこじつけかねないから、ACCには仕様と信号ダイジェストだけ。RAGも外部ツールも使わず、直接プロンプトに入れる。ダイジェストは全信号を毎サイクル列挙せず、一定値・固定ステップ・短い繰り返しみたいに圧縮してるけど、使う前にシミュレーション値とサイクル単位で照合してる。

毎サイクル全信号だとトークン爆発するもんね。PWMのスモークテストだけで51,000サイクル×389信号って書いてあったら、そりゃ圧縮が要るわ。

あとACCのプロンプトは「この振る舞いは合法か」じゃなく「仕様と合わない振る舞いはどれか」って聞く。合法かで聞くと、LLMが仕様の読み方を都合よく作って異常を説明しちゃうから。

なるほど、異常をなかったことにさせない聞き方なんだ。

次にGeneratorが、仕様と異常報告とRTLインタフェース、それに異常信号を駆動するRTL抜粋からSVAを書く。抜粋は最大2階層で、コメントは除去。要求そのものは仕様から取る。壊れたSVAは決定的なガードで落とすか直して、JasperGoldでproven / counterexample / undeterminedを出す。

反例が出たら即バグ認定?

そこが難しい。反例はアサーション自体の間違いかもしれないし、空証明なら何もチェックしてないかもしれない。だから適格検出の条件は、変異設計で反例があり、参照RTLで証明され、しかも前提のcoverが参照RTLで到達して非空証明であること。参照RTLで反例なら誤検出。undeterminedとvacuousは適格じゃない。参照RTLは注入バグ評価の計測器で、フレームワーク必須要件ではない。

厳しめに判定するんだ。で、反例はテストに戻すの?

Adversarial Challengerが、既存のUVMシーケンスで反例を狙うdirected testを書く。スコアボードはPASSなのにアサーションはFAILする再現ケースにする。既存シーケンスで再現できなくても、形式検証の検出自体は残る。テストは再現性を足すだけ。

じゃあ評価は? OpenTitanでどれくらい見つかったの?

OpenTitanの4 IPに564個のバグを入れて、そのうちスコアボードエスケープ候補が68。ACCが55件で変異の影響を報告して、41件を適格検出した。バグなし設計では、ACCはOpenTitanの文書とRTLが矛盾してる箇所だけを報告した。これも参照ドキュメントへの指摘ではある。

68候補中41が適格って、けっこう多いね。でも候補ってことは全部は検出してないんだ。

そう。等価変異体と非活性変異体は除外してる。非活性は回帰刺激が差分を踏んでないから、トレースベースでは何も見つけようがない。活性化には新しい刺激が要るけど、この論文の範囲外。仕様に書かれてない振る舞いだけを変える変異体も対象外。

ACCの出力ばらつきは?

ACCは最大3回試行して最初の非空結果を採用する。試行結果は統合しない。だからLLM出力のばらつきは残る。あと評価はOpenTitan 4 IPとネイティブUVM環境に限られてて、他への一般化は提示本文からは確認できない。

既存手法との違いは?

VCDiagやMEIC、UVLLMは失敗したシミュレーションを起点にする。AssertLLMは仕様からアサーションを作って形式で評価するけど、通過済み回帰のトレースを見る用途じゃない。Certitudeは故障注入でテストベンチを評価する商用手法だけど、各故障で回帰を再実行するし、テストベンチを直すんじゃなく採点する。BugGenはベンチマーク構築に使ってるだけで、フレームワークの一部じゃない。

なるほど。PASSした回帰をまだ疑うための、LLM+形式検証+UVM再現のパイプラインってことだね。論文では、通過済み回帰のトレースを仕様と照合して各エスケープを形式で適格判定するのは初めてって主張してるんだ。

そう。スコアボードが見てない内部信号まで含めて、仕様に基づくアサーションで独立に資格を与えるのがポイント。

じゃあさ、これって「PASSしました」って報告書に、智也くんが横から「本当に?」って言う自動化みたいなもの?

…言い方よ。でも、まあ近い。

やった、今日は理解できた気がする! 次はその「本当に?」って顔で私のレポート見てよ。

それは別の形式検証が必要そうだ。