2025-11-16T06:52:11.231184

VerilogReader: LLM-Aided Hardware Test Generation

Ma, Yang, Liu et al.

Test generation has been a critical and labor-intensive process in hardware design verification. Recently, the emergence of Large Language Model (LLM) with their advanced understanding and inference capabilities, has introduced a novel approach. In this work, we investigate the integration of LLM into the Coverage Directed Test Generation (CDG) process, where the LLM functions as a Verilog Reader. It accurately grasps the code logic, thereby generating stimuli that can reach unexplored code branches. We compare our framework with random testing, using our self-designed Verilog benchmark suite. Experiments demonstrate that our framework outperforms random testing on designs within the LLM's comprehension scope. Our work also proposes prompt engineering optimizations to augment LLM's understanding scope and accuracy.

academic

VerilogReader: LLM-সহায়ক হার্ডওয়্যার টেস্ট জেনারেশন

মৌলিক তথ্য

পেপার আইডি: 2406.04373
শিরোনাম: VerilogReader: LLM-সহায়ক হার্ডওয়্যার টেস্ট জেনারেশন
লেখক: Ruiyang Ma, Yuxin Yang, Ziqian Liu, Jiaxi Zhang, Min Li, Junhua Huang, Guojie Luo
শ্রেণীবিভাগ: cs.SE cs.AI
প্রকাশনার সময়: ২০২৪ সালের ৩ জুন (arXiv প্রি-প্রিন্ট)
পেপার লিংক: https://arxiv.org/abs/2406.04373
ওপেন সোর্স কোড: https://github.com/magicYang1573/llm-hardware-test-generation

সারসংক্ষেপ

টেস্ট জেনারেশন সর্বদা হার্ডওয়্যার ডিজাইন যাচাইকরণের একটি মূল এবং শ্রম-নিবিড় প্রক্রিয়া। সম্প্রতি, বৃহৎ ভাষা মডেল (LLM) তাদের উন্নত বোঝাপড়া এবং যুক্তি ক্ষমতার মাধ্যমে এই ক্ষেত্রে নতুন পদ্ধতি নিয়ে এসেছে। এই গবেষণা কভারেজ-নির্দেশিত টেস্ট জেনারেশন (CDG) প্রক্রিয়ায় LLM একীভূত করার বিষয়টি অন্বেষণ করে, যেখানে LLM একটি Verilog কোড পাঠক হিসাবে কাজ করে, কোড লজিক সঠিকভাবে বোঝে এবং অন্বেষণ করা হয়নি এমন কোড শাখায় পৌঁছাতে পারে এমন উদ্দীপনা তৈরি করে। লেখকরা স্ব-ডিজাইন করা Verilog বেঞ্চমার্ক স্যুট ব্যবহার করে এই ফ্রেমওয়ার্কটি র্যান্ডম টেস্টিংয়ের সাথে তুলনা করেছেন, পরীক্ষা-নিরীক্ষা দেখায় যে ফ্রেমওয়ার্কটি LLM বোঝার পরিসরের মধ্যে ডিজাইনে র্যান্ডম টেস্টিংকে ছাড়িয়ে যায়, এবং LLM এর বোঝার পরিসর এবং নির্ভুলতা বৃদ্ধির জন্য প্রম্পট ইঞ্জিনিয়ারিং অপ্টিমাইজেশন প্রস্তাব করে।

গবেষণার পটভূমি এবং প্রেরণা

সমস্যার পটভূমি

১. হার্ডওয়্যার যাচাইকরণের গুরুত্ব: হার্ডওয়্যার জটিলতার দ্রুত বৃদ্ধির সাথে সাথে, হার্ডওয়্যার যাচাইকরণ উন্নয়ন প্রক্রিয়ায় ক্রমবর্ধমান গুরুত্বপূর্ণ হয়ে উঠেছে। সনাক্ত না করা হার্ডওয়্যার ত্রুটি গুরুতর পরিণতি এবং বিশাল অর্থনৈতিক ক্ষতির দিকে পরিচালিত করতে পারে।

२. বিদ্যমান যাচাইকরণ পদ্ধতি: প্রকৌশলীরা প্রধানত দুটি যাচাইকরণ পদ্ধতি গ্রহণ করেন:

আনুষ্ঠানিক যাচাইকরণ: সিস্টেমের সঠিকতা প্রমাণ করতে গাণিতিক কৌশল ব্যবহার করা
গতিশীল যাচাইকরণ: পরীক্ষাধীন ডিজাইন (DUT) অনুকরণ করতে বৈচিত্র্যময় টেস্ট কেস তৈরি করা

३. টেস্ট জেনারেশন চ্যালেঞ্জ: কভারেজ লক্ষ্য অর্জনের জন্য উচ্চ মানের টেস্ট ইনপুট প্রয়োজন, যা যাচাইকরণ প্রকৌশলীদের জন্য বিশাল মানব বোঝা তৈরি করে।

গবেষণার প্রেরণা

१. স্বয়ংক্রিয়করণের প্রয়োজনীয়তা: মানব হস্তক্ষেপ হ্রাস করতে, কভারেজ-নির্দেশিত টেস্ট জেনারেশন (CDG) স্বয়ংক্রিয় হার্ডওয়্যার টেস্ট জেনারেশনের একটি মূল প্রযুক্তি হয়ে উঠেছে।

२. LLM এর সুযোগ: বোঝাপড়া এবং যুক্তিতে LLM এর শক্তিশালী ক্ষমতা হার্ডওয়্যার টেস্ট জেনারেশন ক্ষেত্রে নতুন সুযোগ প্রদান করে।

३. পার্থক্যপূর্ণ অবস্থান: কার্যকরী কভারেজ পয়েন্টের উপর দৃষ্টি নিবদ্ধকারী পূর্ববর্তী গবেষণার বিপরীতে, এই পেপারটি কোড কভারেজের উপর দৃষ্টি নিবদ্ধ করে, যা একটি আরও মৌলিক পরীক্ষার লক্ষ্য, LLM কে "VerilogReader" হিসাবে অবস্থান করে।

মূল অবদান

१. ওপেন সোর্স ফ্রেমওয়ার্ক: প্রথমবারের মতো CDG প্রক্রিয়ায় LLM একীভূত করার একটি ফ্রেমওয়ার্ক ওপেন সোর্স করেছে, Verilog কোড এবং কভারেজ বোঝার জন্য LLM কে VerilogReader হিসাবে ব্যবহার করে, কোড কভারেজ বন্ধ করার জন্য টেস্ট তৈরি করার লক্ষ্যে।

२. প্রম্পট অপ্টিমাইজেশন মডিউল: Coverage Explainer এবং DUT Explainer মডিউল প্রস্তাব করেছে যা প্রম্পট সমৃদ্ধ করে, ডিজাইন এবং টেস্ট অভিপ্রায়ের প্রতি LLM এর বোঝাপড়া বৃদ্ধি করে, ফ্রেমওয়ার্কের স্কেলেবিলিটি উন্নত করে।

३. বেঞ্চমার্ক স্যুট: ২৪টি সহজ, মধ্যম এবং জটিল স্তরের Verilog ডিজাইন সহ একটি বেঞ্চমার্ক স্যুট তৈরি করেছে, পরীক্ষা-নিরীক্ষা দেখায় যে ফ্রেমওয়ার্কটি সহজ এবং মধ্যম স্তরের DUT তে র্যান্ডম টেস্টিংকে ছাড়িয়ে যায়।

४. ক্ষমতা সীমানা অন্বেষণ: Verilog পড়ার ক্ষেত্রে বর্তমান LLM এর সর্বোচ্চ ক্ষমতা সীমানা স্পষ্টভাবে সংজ্ঞায়িত করেছে।

পদ্ধতির বিস্তারিত ব্যাখ্যা

কাজের সংজ্ঞা

এই পেপারের কাজ হল Verilog কোড লজিক এবং বর্তমান কভারেজ অবস্থা বোঝার জন্য LLM ব্যবহার করা, অন্বেষণ করা হয়নি এমন কোড শাখা ট্রিগার করতে পারে এমন মাল্টি-সাইকেল ইনপুট উদ্দীপনা তৈরি করা, কোড কভারেজ উন্নতি অর্জন করা।

মডেল আর্কিটেকচার

মৌলিক ফ্রেমওয়ার্ক

সম্পূর্ণ ফ্রেমওয়ার্ক একটি পুনরাবৃত্তিমূলক CDG প্রক্রিয়া গ্রহণ করে, যা নিম্নলিখিত মূল উপাদান অন্তর্ভুক্ত করে:

१. LLM কোর: প্রতিটি পুনরাবৃত্তিতে JSON ফর্ম্যাটে মাল্টি-সাইকেল ইনপুট তৈরি করে २. ইনপুট ডিকোডার: JSON ফর্ম্যাট ইনপুটকে হার্ডওয়্যার উদ্দীপনায় ডিকোড করে ३. কভারেজ মনিটর: বর্তমান কোড কভারেজ তথ্য প্রদান করে ४. ব্যাখ্যাকারী মডিউল: Coverage Explainer এবং DUT Explainer অন্তর্ভুক্ত করে

প্রম্পট জেনারেটর

দুই-রাউন্ড প্রশ্নোত্তর প্রক্রিয়া গ্রহণ করে:

প্রথম রাউন্ড: LLM কে টেস্ট লক্ষ্য সম্পর্কে অবহিত করে, DUT তথ্য এবং কভারেজ ডেটা প্রদান করে, LLM প্রাকৃতিক ভাষায় প্রতিক্রিয়া জানায়
দ্বিতীয় রাউন্ড: LLM কে প্রতিক্রিয়া মান JSON ফর্ম্যাটে রূপান্তরিত করতে নির্দেশনা দেয়

কভারেজ ব্যাখ্যাকারী

জটিল কভারেজ রিপোর্টকে LLM বোধগম্য ফর্ম্যাটে রূপান্তরিত করে:

१. মূল ফর্ম্যাট: Verilator কভারেজ রিপোর্ট, অনন্য সনাক্তকারী এবং হিট গণনা সহ २. মন্তব্যপূর্ণ ফর্ম্যাট: verilator_coverage সরঞ্জাম ব্যবহার করে তৈরি মন্তব্যপূর্ণ রিপোর্ট ३. LLM-পাঠযোগ্য ফর্ম্যাট: বিশেষভাবে ডিজাইন করা ফর্ম্যাট, অন্বেষণ করা হয়নি এমন লাইনগুলিতে 'TO BE COVERED' ফ্ল্যাগ যোগ করে

DUT ব্যাখ্যাকারী

DUT এর প্রতি LLM এর বোঝাপড়া বৃদ্ধির জন্য দুটি কার্যকারিতা প্রদান করে:

१. ডিজাইন বর্ণনা: DUT কার্যকারিতা এবং অভ্যন্তরীণ লজিকের প্রাকৃতিক ভাষা ব্যাখ্যা প্রদান করে २. টেস্ট নির্দেশনা: নির্দিষ্ট DUT টেস্ট তৈরির জন্য পরিপূরক তথ্য এবং মৌলিক টেস্ট লজিক নিয়ম প্রদান করে

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. কোড কভারেজ ফোকাস: প্রথমবারের মতো LLM কে হার্ডওয়্যার কোড কভারেজে প্রয়োগ করেছে, কার্যকরী কভারেজ পয়েন্ট নয় २. পর্যায়ক্রমিক প্রক্রিয়াকরণ: টেস্ট জেনারেশন কাজকে DUT বোঝাপড়া এবং ইনপুট লজিক অনুমান দুটি পর্যায়ে বিভক্ত করেছে ३. প্রাকৃতিক ভাষা ট্যাগিং: অন্বেষণ করা হয়নি এমন লাইনগুলি চিহ্নিত করতে প্রাকৃতিক ভাষা ট্যাগ ব্যবহার করে, LLM এর যুক্তি প্রক্রিয়া সরল করে ४. দ্বি-রাউন্ড মিথস্ক্রিয়া: দুই-রাউন্ড প্রশ্নোত্তরের মাধ্যমে LLM এর ধাপে ধাপে চিন্তাভাবনা প্রক্রিয়া প্রচার করে

পরীক্ষা-নিরীক্ষার সেটআপ

ডেটাসেট

স্ব-নির্মিত বেঞ্চমার্ক স্যুট তিনটি কঠিনতা স্তরে বিভক্ত ২৪টি Verilog ডিজাইন অন্তর্ভুক্ত করে:

१. সহজ স্তর (s01-s10): ১০টি মৌলিক সমন্বয় লজিক সার্কিট (মাল্টিপ্লেক্সার, ALU ইত্যাদি) २. মধ্যম স্তর (m01-m08): ৮টি সিকোয়েন্সিয়াল লজিক সার্কিট (FSM, কাউন্টার, আর্বিটার ইত্যাদি) ३. জটিল স্তর (c01-c06): ৬টি বড় আকারের FSM সার্কিট (১६-१२८ অবস্থা)

মূল্যায়ন মেট্রিক্স

প্রধান মেট্রিক: সম্পূর্ণ কভারেজ অর্জনের জন্য প্রয়োজনীয় ইনপুট উদ্দীপনার মোট দৈর্ঘ্য (ঘড়ির চক্রে পরিমাপ করা)
কভারেজ: লাইন কভারেজ শতাংশ
সময় দক্ষতা: লক্ষ্য কভারেজ অর্জনের জন্য প্রয়োজনীয় পুনরাবৃত্তির সংখ্যা

তুলনা পদ্ধতি

র্যান্ডম টেস্টিং: বেসলাইন তুলনা পদ্ধতি হিসাবে
বিভিন্ন কভারেজ রিপোর্ট ফর্ম্যাট: মূল ফর্ম্যাট, মন্তব্যপূর্ণ ফর্ম্যাট, LLM-পাঠযোগ্য ফর্ম্যাট

বাস্তবায়ন বিবরণ

ভাষা মডেল: OpenAI GPT-4 এবং GPT-4-Turbo-0125
সিমুলেটর: Verilator
কোড পার্সিং: Pyverilog
পরীক্ষা পুনরাবৃত্তি: LLM এর র্যান্ডমনেস পরিচালনা করতে প্রতিটি পরীক্ষা ৫ বার পুনরাবৃত্তি করা হয়

পরীক্ষা-নিরীক্ষার ফলাফল

প্রধান ফলাফল

কভারেজ ব্যাখ্যা পদ্ধতির তুলনা

মধ্যম স্তরের DUT তে GPT-4 ব্যবহার করে পরীক্ষার ফলাফল দেখায়:

LLM-পাঠযোগ্য কভারেজ রিপোর্ট মূল এবং মন্তব্যপূর্ণ ফর্ম্যাটের চেয়ে উল্লেখযোগ্যভাবে ভাল
মূল অপাঠযোগ্য কভারেজ রিপোর্ট LLM এর জন্য সবচেয়ে চ্যালেঞ্জিং
প্রাকৃতিক ভাষা ট্যাগ করা 'TO BE COVERED' ফ্ল্যাগ বোঝার প্রভাব কার্যকরভাবে উন্নত করে

র্যান্ডম টেস্টিংয়ের সাথে তুলনা

সহজ এবং মধ্যম স্তরের DUT তে পরীক্ষার ফলাফল দেখায়:

LLM ফ্রেমওয়ার্ক ১০০% কভারেজ অর্জনের জন্য উল্লেখযোগ্যভাবে কম ইনপুট ব্যবহার করে
র্যান্ডম টেস্টিং কঠিন-পৌঁছানো শাখা সহ সিকোয়েন্সিয়াল ডিজাইনে প্রায়শই এক মিনিটের মধ্যে সম্পূর্ণ কভারেজ অর্জন করতে ব্যর্থ হয়
GPT-4 এবং GPT-4-Turbo হার্ডওয়্যার টেস্ট জেনারেশন কাজে অনুরূপ কর্মক্ষমতা প্রদর্শন করে

DUT ব্যাখ্যা অপ্টিমাইজেশন প্রভাব

ডিজাইন বর্ণনা: LLM দ্বারা তৈরি ডিজাইন বর্ণনা টেস্ট জেনারেশনের সময় ডিজাইন বোঝাপড়া উন্নত করে
টেস্ট নির্দেশনা: অসামঞ্জস্যপূর্ণ প্রভাব, কিছু ডিজাইনে (m05, m06) ইনপুট বৈচিত্র্য হ্রাস করে

LLM স্কেলেবিলিটি বিশ্লেষণ

জটিল স্তরের FSM তে পরীক্ষার ফলাফল দেখায়:

১६-অবস্থা FSM: २० পুনরাবৃত্তির পরে ১००% লাইন কভারেজের কাছাকাছি
६४-অবস্থা এবং তার উপরে FSM: কভারেজ ५०% অতিক্রম করতে পারে না
DUT আকার বৃদ্ধির সাথে সাথে, টেস্ট জেনারেশন গুণমান তীব্রভাবে হ্রাস পায়

পরীক্ষা-নিরীক্ষার অনুসন্ধান

१. LLM সহজ এবং মধ্যম জটিলতার ডিজাইনে চমৎকার কর্মক্ষমতা প্রদর্শন করে २. বর্তমান LLM বড় আকারের Verilog ডিজাইন পরিচালনায় স্পষ্ট সীমাবদ্ধতা রয়েছে ३. উপযুক্ত প্রম্পট ইঞ্জিনিয়ারিং LLM কর্মক্ষমতা উল্লেখযোগ্যভাবে উন্নত করতে পারে ४. কভারেজ রিপোর্ট ফর্ম্যাট LLM বোঝার জন্য গুরুত্বপূর্ণ

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. LLM সহজ এবং মধ্যম জটিলতার Verilog ডিজাইন কার্যকরভাবে বুঝতে এবং লক্ষ্যবস্তু টেস্ট ইনপুট তৈরি করতে পারে २. উপযুক্ত প্রম্পট ইঞ্জিনিয়ারিং (বিশেষত কভারেজ ব্যাখ্যা) LLM কর্মক্ষমতার জন্য গুরুত্বপূর্ণ ३. বর্তমান LLM বড় আকারের, জটিল হার্ডওয়্যার ডিজাইন পরিচালনায় স্পষ্ট সীমাবদ্ধতা রয়েছে

সীমাবদ্ধতা

१. স্কেল সীমাবদ্ধতা: ১০০ লাইনের বেশি কোড সহ জটিল ডিজাইনের জন্য, LLM কর্মক্ষমতা উল্লেখযোগ্যভাবে হ্রাস পায় २. কাঠামো বোঝাপড়া: LLM Verilog এর অত্যন্ত কাঠামোগত বৈশিষ্ট্য বুঝতে অসুবিধা পায় ३. শেষ-থেকে-শেষ প্রয়োগ: শিল্প-স্তরের হার্ডওয়্যার ডিজাইনে LLM সরাসরি প্রয়োগ এখনও চ্যালেঞ্জিং

ভবিষ্যত দিকনির্দেশনা

१. DUT ব্যাখ্যাকারী উন্নতি: আরও ব্যাপক উচ্চ-স্তরের ডিজাইন বিমূর্তকরণ এবং যাচাইকরণ অভিপ্রায় প্রদান করা २. মাল্টি-মোডাল ফিউশন: LLM এবং গ্রাফ নিউরাল নেটওয়ার্ক (GNN) একত্রিত করা, শব্দার্থিক ব্যাখ্যার জন্য LLM ব্যবহার করা, কাঠামো তথ্য প্রক্রিয়াকরণের জন্য GNN ব্যবহার করা ३. স্তরযুক্ত প্রক্রিয়াকরণ: ম্যাক্রো দৃষ্টিকোণ থেকে LLM কে টেস্ট জেনারেশন কাজ পরিচালনা করতে নির্দেশনা দেওয়া

গভীর মূল্যায়ন

সুবিধা

१. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো LLM কে হার্ডওয়্যার কোড কভারেজ টেস্ট জেনারেশনে প্রয়োগ করেছে, স্পষ্ট অবস্থান २. সিস্টেমেটিক পদ্ধতি: একাধিক অপ্টিমাইজেশন মডিউল সহ সম্পূর্ণ ফ্রেমওয়ার্ক প্রস্তাব করেছে ३. পর্যাপ্ত পরীক্ষা-নিরীক্ষা: বহু-স্তরের বেঞ্চমার্ক স্যুট তৈরি করেছে, যুক্তিসঙ্গত পরীক্ষা ডিজাইন ४. ওপেন সোর্স অবদান: ওপেন সোর্স ফ্রেমওয়ার্ক প্রদান করে, ক্ষেত্র উন্নয়ন প্রচার করে ५. সীমানা অন্বেষণ: বর্তমান LLM ক্ষমতার সীমানা স্পষ্টভাবে সংজ্ঞায়িত করেছে

অপূর্ণতা

१. স্কেল সীমাবদ্ধতা: শুধুমাত্র তুলনামূলকভাবে সহজ ডিজাইনে কার্যকর, প্রকৃত শিল্প প্রয়োগ থেকে এখনও দূরে २. বেঞ্চমার্ক সীমাবদ্ধতা: স্ব-নির্মিত বেঞ্চমার্ক সম্পূর্ণ নাও হতে পারে, শিল্প মান বেঞ্চমার্কের সাথে তুলনার অভাব ३. খরচ বিশ্লেষণ: LLM আহ্বান খরচ এবং ঐতিহ্যবাহী পদ্ধতির বিস্তারিত তুলনার অভাব ४. তাত্ত্বিক বিশ্লেষণ: এই কাজে LLM কেন কার্যকর তার গভীর তাত্ত্বিক বিশ্লেষণের অভাব

প্রভাব

१. একাডেমিক মূল্য: হার্ডওয়্যার যাচাইকরণ ক্ষেত্রে LLM এর নতুন প্রয়োগ দিক খুলে দিয়েছে २. ব্যবহারিক সম্ভাবনা: শিক্ষা এবং মধ্য-আকারের ডিজাইন যাচাইকরণে প্রকৃত প্রয়োগ মূল্য রয়েছে ३. অনুপ্রেরণামূলক: পরবর্তী গবেষণার জন্য মূল্যবান বেসলাইন এবং চিন্তাভাবনা প্রদান করে

প্রযোজ্য পরিস্থিতি

१. শিক্ষা পরিবেশ: হার্ডওয়্যার ডিজাইন কোর্সে স্বয়ংক্রিয় টেস্ট জেনারেশনের জন্য উপযুক্ত २. প্রোটোটাইপ যাচাইকরণ: প্রাথমিক ডিজাইন পর্যায়ে দ্রুত যাচাইকরণের জন্য প্রযোজ্য ३. ছোট-মাঝারি আকারের ডিজাইন: ১০০ লাইনের কম Verilog মডিউলের জন্য ব্যবহারিক মূল্য রয়েছে ४. সহায়ক সরঞ্জাম: যাচাইকরণ প্রকৌশলীদের জন্য সহায়ক সরঞ্জাম হিসাবে কাজ করতে পারে, কিছু কাজের চাপ হ্রাস করে

তথ্যসূত্র

পেপারটি ১९টি সম্পর্কিত সাহিত্য উদ্ধৃত করে, যা আনুষ্ঠানিক যাচাইকরণ, গতিশীল যাচাইকরণ, CDG পদ্ধতি, হার্ডওয়্যার ক্ষেত্রে LLM এর প্রয়োগ এবং অন্যান্য একাধিক দিক কভার করে, গবেষণার জন্য একটি শক্তিশালী তাত্ত্বিক ভিত্তি প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি LLM এবং হার্ডওয়্যার যাচাইকরণ ক্রস-ডোমেইনে একটি উদ্ভাবনী কাজ, যদিও স্কেল-আপ প্রয়োগে এখনও সীমাবদ্ধতা রয়েছে, তবে এই ক্ষেত্রের উন্নয়নের জন্য মূল্যবান অন্বেষণ এবং ভিত্তি প্রদান করে। পেপারটি পদ্ধতিগত, পরীক্ষা-নিরীক্ষা পর্যাপ্ত, ওপেন সোর্স অবদান স্পষ্ট, ভাল একাডেমিক মূল্য এবং অনুপ্রেরণামূলক তাৎপর্য রয়েছে।