2025-11-16T06:52:11.231184

VerilogReader: LLM-Aided Hardware Test Generation

Ma, Yang, Liu et al.

Test generation has been a critical and labor-intensive process in hardware design verification. Recently, the emergence of Large Language Model (LLM) with their advanced understanding and inference capabilities, has introduced a novel approach. In this work, we investigate the integration of LLM into the Coverage Directed Test Generation (CDG) process, where the LLM functions as a Verilog Reader. It accurately grasps the code logic, thereby generating stimuli that can reach unexplored code branches. We compare our framework with random testing, using our self-designed Verilog benchmark suite. Experiments demonstrate that our framework outperforms random testing on designs within the LLM's comprehension scope. Our work also proposes prompt engineering optimizations to augment LLM's understanding scope and accuracy.

academic

VerilogReader: LLM支援ハードウェアテスト生成

基本情報

論文ID: 2406.04373
タイトル: VerilogReader: LLM-Aided Hardware Test Generation
著者: Ruiyang Ma, Yuxin Yang, Ziqian Liu, Jiaxi Zhang, Min Li, Junhua Huang, Guojie Luo
分類: cs.SE cs.AI
発表日: 2024年6月3日 (arXiv プレプリント)
論文リンク: https://arxiv.org/abs/2406.04373
オープンソースコード: https://github.com/magicYang1573/llm-hardware-test-generation

要約

テスト生成はハードウェア設計検証において重要かつ労働集約的なプロセスであり続けている。近年、大規模言語モデル(LLM)はその高度な理解および推論能力により、この分野に新たなアプローチをもたらしている。本研究は、LLMをVerilogコード読者として機能させ、コードロジックを正確に理解し、未探索のコード分岐に到達できる刺激を生成する、カバレッジ指向テスト生成(CDG)プロセスへのLLM統合を検討している。著者らは自設計のVerilogベンチマークスイートを用いてこのフレームワークをランダムテストと比較し、LLMの理解範囲内の設計においてフレームワークがランダムテストを上回ること、およびLLMの理解範囲と精度を強化するためのプロンプトエンジニアリング最適化を提案していることを実証している。

研究背景と動機

問題背景

ハードウェア検証の重要性: ハードウェアの複雑性の急増に伴い、ハードウェア検証は開発プロセスにおいてますます重要になっている。検出されないハードウェアエラーは重大な結果と莫大な経済的損失をもたらす可能性がある。
既存の検証方法: エンジニアは主に2つの検証方法を採用している:
- 形式的検証: 数学的技術を用いてシステムの正確性を証明する
- 動的検証: 多様なテストケースを生成して被検証設計(DUT)をシミュレートする
テスト生成の課題: カバレッジ目標の達成には高品質のテスト入力が必要であり、検証エンジニアに大きな人的負担をもたらしている。

研究動機

自動化の必要性: 人的介入を減らすため、カバレッジ指向テスト生成(CDG)がハードウェアテスト生成の自動化における重要な技術となっている。
LLMの機会: LLMの理解および推論における強力な能力は、ハードウェアテスト生成分野に新たな機会をもたらしている。
差別化された位置付け: 機能カバレッジポイントに焦点を当てた先行研究と異なり、本論文はより基本的なテスト目標であるコードカバレッジに焦点を当て、LLMを「VerilogReader」として位置付けている。

核心的貢献

オープンソースフレームワーク: LLMをCDGプロセスに統合するフレームワークを初めてオープンソース化し、LLMをVerilogReaderとして使用してVerilogコードとカバレッジを理解し、コードカバレッジ閉包テストを生成することを目的としている。
プロンプト最適化モジュール: Coverage ExplainerおよびDUT Explainerモジュールを提案し、プロンプトを充実させ、設計およびテスト意図に対するLLMの理解を強化し、フレームワークのスケーラビリティを向上させている。
ベンチマークスイート: 簡単、中程度、複雑なレベルの24個のVerilog設計を含むベンチマークスイートを作成し、フレームワークが簡単および中程度レベルのDUTでランダムテストを上回ることを実証している。
能力境界の探索: Verilog読み取りにおける現在のLLMの最大能力境界を明確にしている。