التعرف على لوحات الترخيص المستقل عن التخطيط من خلال نماذج الرؤية واللغة المتكاملة

المعلومات الأساسية

• معرّف الورقة: 2510.10533
• العنوان: التعرف على لوحات الترخيص المستقل عن التخطيط من خلال نماذج الرؤية واللغة المتكاملة
• المؤلفون: إلهام شعبانينيا، فاطمة أسدي-زيدابادي، حسين نظام‌آبادي‌پور
• التصنيف: cs.CV (رؤية الحاسوب)
• المؤسسات: جامعة التكنولوجيا المتقدمة للدراسات العليا وجامعة شهيد باهونار بكرمان، إيران
• رابط الورقة: https://arxiv.org/abs/2510.10533

الملخص

تقدم هذه الدراسة إطار عمل للتعرف التلقائي على لوحات الترخيص (ALPR) يدرك الأنماط، بهدف العمل بشكل موثوق عبر تخطيطات لوحات ترخيص متنوعة وظروف العالم الحقيقي الصعبة. يتكون النظام من شبكة كشف حديثة عالية الدقة ومرحلة تعرف تدمج نموذج رؤية محول مع آلية نمذجة لغوية تكرارية. تنفذ مرحلة التعرف الموحدة هذه التعرف على الأحرف وتحسين ما بعد المعالجة البصرية في عملية سلسة، مع تعلم أنماط البنية والقواعد الصيغية الخاصة بلوحات الترخيص، دون الاعتماد على تصحيحات استكشافية صريحة أو تصنيف تخطيط يدوي. من خلال هذا التصميم، يحسّن النظام بشكل مشترك إشارات الرؤية واللغة، مما يحقق تحسيناً تكرارياً لزيادة دقة المعالجة البصرية في ظل الضوضاء والتشويه والخطوط غير التقليدية، وتحقيق التعرف المستقل عن التخطيط عبر مجموعات بيانات دولية متعددة.

خلفية البحث والدافع

تعريف المشكلة

تواجه أنظمة التعرف التلقائي على لوحات الترخيص التقليدية (ALPR) التحديات الأساسية التالية:

1. تراكم الأخطاء متعدد المراحل: تتضمن أنظمة ALPR التقليدية ثلاث وحدات مستقلة: كشف لوحة الترخيص (LPD)، وتقسيم الأحرف (CS)، والتعرف البصري على الأحرف (OCR)، حيث تنتشر أخطاء كل مرحلة إلى المرحلة التالية
2. الاعتماد على التخطيط: تتطلب الأنظمة الموجودة عادة تصميم قواعد يدوية وتصحيح لاحق خاص بتنسيقات لوحات الترخيص لمناطق معينة
3. ضعف التكيف الدولي: توجد اختلافات ضخمة في تنسيقات لوحات الترخيص والمجموعات الحرفية وأنظمة الترقيم بين الدول والمناطق المختلفة، مثل التنسيقات المختلفة في الولايات الأمريكية ("1ABC234" مقابل "ABC-1234")، والخلفيات البيضاء والصفراء في المملكة المتحدة

دافع البحث

يفرض التطور السريع لأنظمة النقل الذكية (ITS) متطلبات أعلى على أنظمة ALPR:

• الحاجة إلى التعامل مع سيناريوهات عالم حقيقي أكثر تعقيداً (الانسداد، الإضاءة غير المنتظمة، الدوران، عدم الوضوح)
• تتطلب الأنظمة القدرة على التعميم عبر المناطق واللغات
• الحاجة إلى الأداء في الوقت الفعلي لدعم تطبيقات المراقبة المرورية عالية الطلب

قيود الطرق الموجودة

1. الطرق القائمة على التقسيم: تعتمد على جودة تقسيم الأحرف، وتتأثر بسهولة بالضوضاء والتشويه
2. الطرق بدون تقسيم: على الرغم من تجنب مشاكل التقسيم، لا تزال تتطلب قواعد استكشافية لاحقة خاصة بتخطيط معين
3. غياب إطار عمل موحد: عادة ما يتم فصل التعرف البصري والتصحيح اللغوي عن بعضهما، مما يمنع التحسين المشترك

المساهمات الأساسية

1. معمارية التعرف المستقلة عن التخطيط: تدمج تحليل الأنماط البنيوية في عملية التعرف، دون الحاجة إلى هندسة ميزات يدوية أو قواعد استكشافية خاصة بتخطيط معين
2. آلية التحسين التكراري: تستفيد من التحسين المشترك لإشارات الرؤية واللغة، لتحسين نتائج المعالجة البصرية في الظروف الصعبة
3. التحقق عبر مجموعات البيانات: تم التحقق من قابلية التوسع على ثلاث مجموعات بيانات دولية: IR-LPR و UFPR-ALPR و AOLP
4. عملية خالية من التقسيم: تزيل اختناق ALPR التقليدي مع تحسين الدقة والقوة

شرح الطريقة

تعريف المهمة

الإدخال: صور المركبات التي تحتوي على لوحات ترخيص الإخراج: تسلسل أحرف دقيق لمنطقة لوحة الترخيص القيود: الحاجة إلى التعامل مع تخطيطات لوحات ترخيص مختلفة وخطوط ولغات وظروف بيئية

معمارية النموذج

الإطار العام

يعتمد النظام على تصميم ثنائي المراحل:

1. مرحلة كشف لوحة الترخيص: استخدام YOLOv9 للكشف عن الأهداف عالي الدقة
2. مرحلة التعرف على لوحة الترخيص: إطار عمل تعرف موحد يدمج نموذج الرؤية (VM) ونموذج اللغة (LM)

1. شبكة كشف لوحة الترخيص (YOLOv9)

المزايا الرئيسية لاختيار YOLOv9:

• العمود الفقري المحسّن: يستخدم معمارية شبكة عصبية تلافيفية محسّنة لاستخراج ميزات متفوق
• رأس الكشف المحسّن: يحسّن دقة وتذكر صناديق الحدود
• شبكة تجميع المسار (PANet): يحسّن تدفق المعلومات عبر مقاييس مختلفة
• المعالجة اللاحقة المتقدمة: استخدام قمع القيم القصوى غير الأعظمية (NMS) وعتبات IoU محسّنة

2. شبكة التعرف على لوحة الترخيص

نموذج الرؤية (VM):

• يستخدم معمارية محول تلافيفي (CvT)
• العمود الفقري التلافيفي ResNet45 لاستخراج الميزات الأولية:

  F_b = B(x) ∈ R^(h×w×d)
  F_m = M(F_b) ∈ R^(h×w×d)
  

• آلية الانتباه الموضعي للمحول:

  Q = PE(t) ∈ R^(h×w×d)
  K = g(F_m) ∈ R^(h×w×d)  
  V = H(F_m) ∈ R^(h×w×d)
  F_v = Softmax(QK^T/√D)V
  

نموذج اللغة (LM):

• يستخدم شبكة الملء ثنائية الاتجاه (BCN)
• فك تشفير محول معدل بـ L طبقة
• نقاط التصميم الرئيسية:
  • إدخال متجهات الأحرف مباشرة إلى كتل الانتباه متعدد الرؤوس
  • استخدام قناع الانتباه لمنع الإشارة الذاتية:

    M_ij = {0, i≠j; -∞, i=j}
    

  • التنفيذ التكراري M مرات، مع تحسين تنبؤات نموذج الرؤية بشكل تدريجي

نقاط الابتكار التقني

1. التصميم الذي يدرك الأنماط: تدمج تعلم أنماط البنية والقيود الصيغية الخاصة بلوحات الترخيص في حلقة التعرف
2. التحسين المشترك للرؤية واللغة: تنفذ مرحلة التعرف الموحدة التعرف على الأحرف وتحسين الإخراج في نفس الوقت
3. آلية التحسين التكراري: يحسّن نموذج اللغة نتائج التعرف البصري بشكل تدريجي من خلال تكرارات متعددة
4. التكيف المستقل عن التخطيط: يمكن التكيف مع تخطيطات لوحات ترخيص جديدة من خلال إعادة التدريب على الصور ذات الصلة فقط

إعداد التجارب

مجموعات البيانات

خصائص مجموعات البيانات:

• IR-LPR: تتضمن بيئات متنوعة (مواقف السيارات، أوقات مختلفة، ظروف إضاءة)، مسافة 1-10 أمتار
• UFPR-ALPR: مجموعة بيانات برازيلية، 300 سيارة، تصوير المركبات المتحركة، خلفيات معقدة
• AOLP: ثلاث مجموعات فرعية (AC الظروف المضبوطة، LE المراقبة على الطريق، RP دوريات الطرق)

مؤشرات التقييم

مؤشرات الكشف:

• الدقة (Precision) = TP/(TP+FP)
• الاستدعاء (Recall) = TP/(TP+FN)
• درجة F1 = 2×(Precision×Recall)/(Precision+Recall)
• متوسط الدقة mAP@0.5

مؤشرات التعرف:

• الدقة (Accuracy) = عدد لوحات الترخيص المعترف بها بشكل صحيح / إجمالي عدد لوحات الترخيص

تفاصيل التنفيذ

• تكوين الأجهزة: معالج Intel i9-10900k، ذاكرة 32GB، بطاقة رسومات NVIDIA RTX 3070
• استراتيجية التدريب: تعديل حجم الدفعة ومعدل التعلم والمعاملات الفائقة الأخرى وفقاً لتعقيد مجموعة البيانات

نتائج التجارب

النتائج الرئيسية

أداء الكشف:

أداء التعرف:

الأداء من طرف إلى طرف:

المقارنة مع الطرق المتقدمة

مقارنة دقة التعرف:

الكفاءة الحسابية

• متوسط وقت المعالجة: 55.565 ميلي ثانية / صورة
• متطلبات الحساب: 198.0 GFLOPs، 95×10^6 معامل
• الأداء في الوقت الفعلي: يلبي متطلبات التطبيقات في الوقت الفعلي

أداء التعرف الليلي

اختبار على 889 صورة ليلية من مجموعة بيانات IR-LPR:

• دقة من طرف إلى طرف في الليل: 94.60%
• يثبت قوة النظام في ظروف الإضاءة المنخفضة

الأعمال ذات الصلة

طرق كشف لوحات الترخيص

1. كاشفات الأهداف التقليدية: يتم تطبيق Faster R-CNN و YOLO و SSD على نطاق واسع
2. تقنيات الكشف المتخصصة: هياكل الكسكيد الهجينة، تحديد الموقع المحسّن بـ RNN وغيرها
3. تطور سلسلة YOLO: التحسينات المستمرة من YOLOv1 إلى YOLOv9

طرق التعرف على لوحات الترخيص

الطرق القائمة على التقسيم:

• تعتمد على الفرق اللوني بين الأحرف والخلفية
• الحصول على حدود الأحرف من خلال إسقاط البكسل الأفقي
• تعتمد الدقة بشكل كبير على جودة التقسيم

الطرق بدون تقسيم:

• معالجة أحرف لوحة الترخيص كتسلسل مباشرة
• استخدام بنية CNN+RNN+CTC
• لا تزال تتطلب قواعد استكشافية لإجراء معالجة لاحقة

الخلاصة والمناقشة

الاستنتاجات الرئيسية

1. الاستقلالية عن التخطيط: من خلال تضمين تحليل الأنماط في عملية التعرف، تحقق التعرف الحقيقي المستقل عن التخطيط
2. الأداء الممتاز: حققت أداء متقدمة على جميع مجموعات البيانات الدولية الثلاث
3. القيمة العملية: وقت المعالجة 55.565 ميلي ثانية يلبي متطلبات التطبيقات في الوقت الفعلي
4. القوة: تحافظ على دقة عالية في الظروف الصعبة مثل الليل

القيود

1. حجم مجموعة البيانات: قد تكون مجموعات بيانات AOLP و UFPR-ALPR محدودة العينات، مما قد لا يعرض بشكل كامل مزايا الطريقة
2. التباس الأحرف: لا تزال توجد حالات من الأخطاء في التعرف على الأحرف (مثل التعرف على "8" كـ "B")
3. قيود نموذج اللغة: يصعب على نموذج اللغة إجراء تصحيح فعال للتركيبات الحرفية التي لا توجد قواعد واضحة لها

الاتجاهات المستقبلية

1. أنظمة ALPR القائمة على الفيديو: التوسع إلى نظام ALPR كامل قائم على الفيديو
2. تحسين الأجهزة المحدودة: الحفاظ على الكفاءة في الوقت الفعلي على أجهزة محدودة الموارد
3. دعم النصوص المتعددة: تحسين نموذج اللغة للتعامل المتزامن مع لوحات ترخيص متعددة النصوص (مثل اللاتينية والفارسية)

التقييم المتعمق

المزايا

1. ابتكار قوي: أول تكامل فعال لنماذج الرؤية واللغة في ALPR، مما يحقق التعرف المستقل عن التخطيط
2. تجارب شاملة: تم إجراء التحقق الشامل على ثلاث مجموعات بيانات دولية بلغات وتنسيقات مختلفة
3. أداء ممتازة: حققت أداء متقدمة على جميع مجموعات البيانات المختبرة
4. قوة عملية: يأخذ تصميم النظام في الاعتبار النشر الفعلي، مع سرعة معالجة تلبي متطلبات التطبيقات الفعلية

أوجه القصور

1. نقص التحليل النظري: يفتقر إلى تحليل نظري متعمق حول سبب فعالية هذه الطريقة
2. تجارب الاستئصال محدودة: لم يتم تحليل المساهمة المستقلة لكل مكون (نموذج الرؤية، نموذج اللغة، آلية التحسين التكراري) بشكل كافٍ
3. التحقق من القابلية للتعميم: يتطلب التحقق من قابلية التعميم عبر المجالات على مجموعات بيانات أكثر تنوعاً

التأثير

1. المساهمة الأكاديمية: توفر نموذج تكامل جديد للرؤية واللغة لمجال ALPR
2. القيمة العملية: يمكن تطبيقها مباشرة على أنظمة النقل الذكية وتطبيقات المراقبة
3. قابلية الاستنساخ: وصف الطريقة واضح، استخدام مجموعات بيانات عامة، قابلية استنساخ جيدة

السيناريوهات المعمول بها

1. أنظمة النقل الذكية: رسوم الطرق السريعة، المراقبة المرورية
2. المراقبة الأمنية: إدارة مواقف السيارات، التحكم الحدودي
3. تطبيقات الإنفاذ: كشف المخالفات، تتبع السيارات المسروقة
4. التطبيقات الدولية: السيناريوهات التي تتطلب التعامل مع تنسيقات لوحات ترخيص متعددة

المراجع

تستشهد الورقة بـ 67 مرجعاً ذا صلة، تغطي مجالات متعددة بما في ذلك ALPR والكشف عن الأهداف والتعرف على النصوص، مما يوفر أساساً نظرياً متيناً للبحث.

التقييم الإجمالي: هذه ورقة بحثية عالية الجودة في مجال رؤية الحاسوب، تقدم إطار عمل مبتكراً متكاملاً للرؤية واللغة في مجال التعرف التلقائي على لوحات الترخيص. الطريقة مبتكرة، والتجارب شاملة، والنتائج مقنعة، وتتمتع بقيمة أكاديمية وعملية مهمة.