2025-11-16T06:52:11.231184

VerilogReader: LLM-Aided Hardware Test Generation

Ma, Yang, Liu et al.

Test generation has been a critical and labor-intensive process in hardware design verification. Recently, the emergence of Large Language Model (LLM) with their advanced understanding and inference capabilities, has introduced a novel approach. In this work, we investigate the integration of LLM into the Coverage Directed Test Generation (CDG) process, where the LLM functions as a Verilog Reader. It accurately grasps the code logic, thereby generating stimuli that can reach unexplored code branches. We compare our framework with random testing, using our self-designed Verilog benchmark suite. Experiments demonstrate that our framework outperforms random testing on designs within the LLM's comprehension scope. Our work also proposes prompt engineering optimizations to augment LLM's understanding scope and accuracy.

academic

VerilogReader: LLM-Aided Hardware Test Generation

基本信息

论文ID: 2406.04373
标题: VerilogReader: LLM-Aided Hardware Test Generation
作者: Ruiyang Ma, Yuxin Yang, Ziqian Liu, Jiaxi Zhang, Min Li, Junhua Huang, Guojie Luo
分类: cs.SE cs.AI
发表时间: 2024年6月3日 (arXiv预印本)
论文链接: https://arxiv.org/abs/2406.04373
开源代码: https://github.com/magicYang1573/llm-hardware-test-generation

摘要

测试生成一直是硬件设计验证中的关键且劳动密集型过程。近年来，大语言模型(LLM)凭借其先进的理解和推理能力，为这一领域引入了新的方法。本研究探讨了将LLM集成到覆盖率导向测试生成(CDG)过程中，其中LLM作为Verilog代码阅读器，准确理解代码逻辑，生成能够到达未探索代码分支的激励。作者使用自设计的Verilog基准测试套件将该框架与随机测试进行比较，实验表明该框架在LLM理解范围内的设计上优于随机测试，并提出了提示工程优化来增强LLM的理解范围和准确性。

研究背景与动机

问题背景

硬件验证的重要性: 随着硬件复杂性的激增，硬件验证在开发过程中变得愈发重要。未检测到的硬件错误可能导致重大后果和巨大经济损失。
现有验证方法: 工程师主要采用两种验证方法：
- 形式化验证：使用数学技术证明系统的正确性
- 动态验证：生成多样化测试用例模拟待测设计(DUT)
测试生成挑战: 覆盖率目标的实现需要高质量的测试输入，这给验证工程师带来了巨大的人力负担。

研究动机

自动化需求: 为减少人工干预，覆盖率导向测试生成(CDG)成为自动化硬件测试生成的关键技术。
LLM的机遇: LLM在理解和推理方面的强大能力为硬件测试生成领域提供了新的机遇。
差异化定位: 与之前专注于功能覆盖点的研究不同，本文专注于代码覆盖率这一更基础的测试目标，将LLM定位为"VerilogReader"。

核心贡献

开源框架: 首次开源了将LLM集成到CDG过程的框架，将LLM用作VerilogReader来理解Verilog代码和覆盖率，旨在生成代码覆盖率闭合的测试。
提示优化模块: 提出了Coverage Explainer和DUT Explainer模块来丰富提示，增强LLM对设计和测试意图的理解，提高框架的可扩展性。
基准测试套件: 创建了包含24个简单、中等和复杂级别Verilog设计的基准测试套件，实验表明框架在简单和中等级别DUT上优于随机测试。
能力边界探索: 明确了当前LLM在Verilog阅读方面的最大能力边界。