2025-11-14T23:01:10.895550

Evaluating Open-Source Vision-Language Models for Multimodal Sarcasm Detection

Basnet, Farabi, Ranasinghe et al.
Recent advances in open-source vision-language models (VLMs) offer new opportunities for understanding complex and subjective multimodal phenomena such as sarcasm. In this work, we evaluate seven state-of-the-art VLMs - BLIP2, InstructBLIP, OpenFlamingo, LLaVA, PaliGemma, Gemma3, and Qwen-VL - on their ability to detect multimodal sarcasm using zero-, one-, and few-shot prompting. Furthermore, we evaluate the models' capabilities in generating explanations to sarcastic instances. We evaluate the capabilities of VLMs on three benchmark sarcasm datasets (Muse, MMSD2.0, and SarcNet). Our primary objectives are twofold: (1) to quantify each model's performance in detecting sarcastic image-caption pairs, and (2) to assess their ability to generate human-quality explanations that highlight the visual-textual incongruities driving sarcasm. Our results indicate that, while current models achieve moderate success in binary sarcasm detection, they are still not able to generate high-quality explanations without task-specific finetuning.
academic

বহুমাধ্যমিক বিদ্রূপ সনাক্তকরণের জন্য ওপেন-সোর্স ভিশন-ল্যাঙ্গুয়েজ মডেলগুলির মূল্যায়ন

মৌলিক তথ্য

  • পেপার আইডি: 2510.11852
  • শিরোনাম: বহুমাধ্যমিক বিদ্রূপ সনাক্তকরণের জন্য ওপেন-সোর্স ভিশন-ল্যাঙ্গুয়েজ মডেলগুলির মূল্যায়ন
  • লেখক: সারোজ বাসনেট (জর্জ মেসন বিশ্ববিদ্যালয়), শাফকাত ফারাবি (ভার্জিনিয়া টেক), থারিন্দু রানাসিংহে (ল্যাঙ্কাস্টার বিশ্ববিদ্যালয়), দিপ্তেশ কানোজিয়া (সারে বিশ্ববিদ্যালয়), মার্কোস জাম্পিয়েরি (জর্জ মেসন বিশ্ববিদ্যালয়)
  • শ্রেণীবিভাগ: cs.LG (মেশিন লার্নিং)
  • প্রকাশনার সময়: ২০২৫ সালের ১৩ অক্টোবর (arXiv প্রিপ্রিন্ট)
  • পেপার লিঙ্ক: https://arxiv.org/abs/2510.11852v1

সারসংক্ষেপ

এই গবেষণা সাতটি অত্যাধুনিক ওপেন-সোর্স ভিশন-ল্যাঙ্গুয়েজ মডেল (VLM) এর বহুমাধ্যমিক বিদ্রূপ সনাক্তকরণ কাজে কর্মক্ষমতা মূল্যায়ন করে, যার মধ্যে রয়েছে BLIP2, InstructBLIP, OpenFlamingo, LLaVA, PaliGemma, Gemma3 এবং Qwen-VL। গবেষণা শূন্য-নমুনা, একক-নমুনা এবং কম-নমুনা প্রম্পটিং কৌশল ব্যবহার করে এবং মডেলগুলির বিদ্রূপ ব্যাখ্যা তৈরি করার ক্ষমতা মূল্যায়ন করে। পরীক্ষাগুলি তিনটি বেঞ্চমার্ক ডেটাসেটে (Muse, MMSD2.0 এবং SarcNet) পরিচালিত হয়। ফলাফলগুলি দেখায় যে যদিও বর্তমান মডেলগুলি দ্বিমুখী বিদ্রূপ সনাক্তকরণে মধ্যম সাফল্য অর্জন করেছে, তবে কাজ-নির্দিষ্ট সূক্ষ্ম-সুর ছাড়াই উচ্চ মানের ব্যাখ্যা তৈরি করতে পারে না।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

  1. মূল সমস্যা: বহুমাধ্যমিক বিদ্রূপ সনাক্তকরণ (MSD) কাজে ওপেন-সোর্স ভিশন-ল্যাঙ্গুয়েজ মডেলগুলির ক্ষমতা মূল্যায়ন করা, যার মধ্যে সনাক্তকরণ এবং বিদ্রূপ বিষয়বস্তু ব্যাখ্যা অন্তর্ভুক্ত
  2. চ্যালেঞ্জিং প্রকৃতি: বিদ্রূপ একটি জটিল ভাষাগত ঘটনা যেখানে অভিপ্রায়িত অর্থ আক্ষরিক প্রকাশের বিপরীত, বহুমাধ্যমিক পরিবেশে, বিদ্রূপ প্রভাব প্রায়শই ভিজ্যুয়াল এবং পাঠ্য বিষয়বস্তুর মধ্যে অসামঞ্জস্য থেকে আসে

গুরুত্ব

  1. সোশ্যাল মিডিয়া প্রসার: সোশ্যাল প্ল্যাটফর্মে, বিদ্রূপ প্রায়শই চিত্র-পাঠ্য জোড়ার মাধ্যমে বাস্তবায়িত হয়, এই ক্রস-মোডাল অসামঞ্জস্যতা বোঝা আবেগ বিশ্লেষণ এবং বিষয়বস্তু বোঝার জন্য গুরুত্বপূর্ণ
  2. প্রযুক্তিগত উন্নয়ন: বড় ভিশন-ল্যাঙ্গুয়েজ মডেলগুলির উন্নয়ন জটিল বিষয়গত বহুমাধ্যমিক ঘটনা বোঝার জন্য নতুন সুযোগ প্রদান করে
  3. প্রয়োগ মূল্য: সোশ্যাল মিডিয়া বিষয়বস্তু সংযম, আবেগ বিশ্লেষণ, আক্রমণাত্মক ভাষা সনাক্তকরণ এবং অন্যান্য কাজের জন্য গুরুত্বপূর্ণ

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

  1. গবেষণা অপ্রতুলতা: যদিও VLM গুলি বিভিন্ন কাজে চমৎকার কর্মক্ষমতা প্রদর্শন করেছে, MSD কাজে তাদের কর্মক্ষমতা এখনও পর্যাপ্তভাবে অন্বেষণ করা হয়নি
  2. পদ্ধতিগত সীমাবদ্ধতা: প্রাথমিক MSD গবেষণা প্রধানত বিচ্ছিন্ন বৈশিষ্ট্য নিষ্কাশক এবং বৈশিষ্ট্য সমন্বয় কৌশলের উপর নির্ভর করে, শেষ-থেকে-শেষ বহুমাধ্যমিক বোঝার অভাব
  3. ব্যাখ্যা ক্ষমতা: বিদ্যমান মডেলগুলি প্রধানত শ্রেণীবিভাগ নির্ভুলতার উপর দৃষ্টি নিবদ্ধ করে, মানব-মানের ব্যাখ্যা তৈরি করার ক্ষমতা সম্পর্কে গবেষণা অপর্যাপ্ত

মূল অবদান

  1. একীভূত মূল্যায়ন কাঠামো: একটি একীভূত প্রসঙ্গ শিক্ষার কাঠামো প্রদান করে যা চিত্র, কম-নমুনা উদাহরণ এবং ব্যাখ্যা বীজ একীভূত করে, সাতটি ভিন্ন VLM এর জন্য উপযুক্ত
  2. সিস্টেমেটিক বেঞ্চমার্কিং: তিনটি MSD বেঞ্চমার্ক ডেটাসেটে সিস্টেমেটিক শূন্য-নমুনা, একক-নমুনা এবং কম-নমুনা মূল্যায়ন পরিচালনা করা
  3. ব্যাখ্যা প্রজন্ম মূল্যায়ন: প্রতিটি মডেলের স্বাধীন-ফর্ম বিদ্রূপ ব্যাখ্যা তৈরি করার ক্ষমতা মূল্যায়ন করা, এই ক্ষেত্রে গবেষণা ফাঁক পূরণ করা
  4. গভীর বিশ্লেষণ: শ্রেণীবিভাগ কর্মক্ষমতা এবং ব্যাখ্যা গুণমানের মধ্যে বিচ্ছিন্নতা প্রকাশ করা, ভবিষ্যত গবেষণার জন্য গুরুত্বপূর্ণ অন্তর্দৃষ্টি প্রদান করা

পদ্ধতি বিস্তারিত

কাজ সংজ্ঞা

ইনপুট: চিত্র-পাঠ্য জোড়া (I, C), যেখানে I চিত্র, C ক্যাপশন পাঠ্য আউটপুট:

  1. দ্বিমুখী শ্রেণীবিভাগ: জোড়াটি বিদ্রূপ ধারণ করে কিনা তা নির্ধারণ করা (হ্যাঁ/না)
  2. ব্যাখ্যা প্রজন্ম: বিদ্রূপ উদাহরণগুলির জন্য, ভিজ্যুয়াল-পাঠ্য অসামঞ্জস্যতা ব্যাখ্যা করে এমন প্রাকৃতিক ভাষা বর্ণনা তৈরি করা

ডেটাসেট বর্ণনা

ডেটাসেটইতিবাচকনেতিবাচকব্যাখ্যাবহুভাষিক
MuSE3,5100✓×
MMSD2.011,65112,980××
SarcNet1,8751,460×✓

মডেল স্থাপত্য

মূল্যায়িত সাতটি ওপেন-সোর্স VLM:

  1. InstructBLIP: FlanT5-ভিত্তিক নির্দেশনা-সুর-সংবেদনশীল মডেল
  2. BLIP2 2.7B: হিমায়িত চিত্র এনকোডার + Q-former + বড় ভাষা মডেল
  3. OpenFlamingo 3B: Flamingo এর হালকা-ওজন ওপেন-সোর্স অভিযোজন
  4. LLaVA 7B: প্রতিকূল সূক্ষ্ম-সুরের মাধ্যমে ভিশন-ভাষা সারিবদ্ধতা
  5. PaliGemma 3B: বহুমাধ্যমিক বিশেষজ্ঞ মিশ্রণ মডেল
  6. Qwen-VL 7B: Q-সচেতন এনকোডার-ডিকোডার স্থাপত্য
  7. Gemma3 27B: নির্দেশনা-সুর-সংবেদনশীল বহুমাধ্যমিক মডেল

প্রম্পটিং কৌশল

শ্রেণীবিভাগ কাজ প্রম্পট কাঠামো:

*<বৈশ্বিক_নির্দেশনা>*
উদাহরণ: (শূন্য-, একক-, কম-নমুনা)
*<চিত্র>*
*ক্যাপশন:<ক্যাপশন> উত্তর: হ্যাঁ/না*
*<চিত্র>*
**প্রসঙ্গ:** {ক্যাপশন}
এটি কি বিদ্রূপপূর্ণ?

ব্যাখ্যা প্রজন্ম প্রম্পট কাঠামো:

*<প্রসঙ্গ>:*
*<চিত্র>*
**মূল ক্যাপশন**: {ক্যাপশন}
**প্রদত্ত ব্যাখ্যা**: {ব্যাখ্যা}
**কাজ নির্দেশনা**

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

  1. একীভূত প্রম্পটিং কাঠামো: বিভিন্ন VLM স্থাপত্যের জন্য উপযুক্ত একীভূত প্রম্পট টেমপ্লেট ডিজাইন করা
  2. বহু-দানাদার মূল্যায়ন: শ্রেণীবিভাগ নির্ভুলতা এবং ব্যাখ্যা গুণমানের দ্বৈত মূল্যায়ন একত্রিত করা
  3. ক্রস-মোডাল সারিবদ্ধতা মূল্যায়ন: Δ-CLIPScore চিত্র-পাঠ্য সারিবদ্ধতা উন্নতির পরিমাণ নির্ধারণ করতে প্রবর্তন করা

পরীক্ষামূলক সেটআপ

ডেটা প্রক্রিয়াকরণ

  • MMSD2.0 এবং SarcNet থেকে প্রতিটি 3,000টি চিত্র-ক্যাপশন জোড়া মূল্যায়নের জন্য এলোমেলোভাবে নমুনা করা
  • ব্যাখ্যা উদাহরণ এবং মূল্যায়ন বেঞ্চমার্ক প্রদানের জন্য MuSE ডেটাসেট ব্যবহার করা
  • কম-নমুনা উদাহরণ MuSE (ইতিবাচক) এবং MMSD2.0 (নেতিবাচক) থেকে নমুনা করা

মূল্যায়ন মেট্রিক্স

  1. শ্রেণীবিভাগ নির্ভুলতা: দ্বিমুখী শ্রেণীবিভাগের নির্ভুলতা
  2. Δ-CLIPScore: মূল শিরোনামের সাপেক্ষে ব্যাখ্যার চিত্র-পাঠ্য সারিবদ্ধতা উন্নতি পরিমাপ করা 
    ΔCLIP = CLIP(IMG, G_exp) - CLIP(IMG, B_exp)
    যেখানে G_exp উৎপন্ন ব্যাখ্যা, B_exp ভিত্তি ব্যাখ্যা

বাস্তবায়ন বিবরণ

  • সমস্ত মডেল 8-বিট নির্ভুলতা সহ লোড করা, FlashAttention অপ্টিমাইজেশন সক্ষম করা
  • ব্যাচ আকার 1, সর্বাধিক প্রজন্ম টোকেন 100-256
  • বিম সার্চ ব্যবহার করা (বিম আকার=3)
  • তাপমাত্রা প্যারামিটার 0.7 এ সেট করা

পরীক্ষামূলক ফলাফল

শ্রেণীবিভাগ কর্মক্ষমতা

ডেটাসেটসেরা মডেলসেটিংনির্ভুলতা
SarcNetGemma3একক-নমুনা0.67
SarcNetInstructBLIPশূন্য-নমুনা0.67
MMSD2.0Gemma3একক-নমুনা0.73
MMSD2.0InstructBLIPশূন্য-নমুনা0.64

মূল অনুসন্ধান

  1. নির্দেশনা-সুর-সংবেদনশীল মডেল সুবিধা: Gemma3 এবং InstructBLIP শূন্য-নমুনা এবং একক-নমুনা সেটিংসে সেরা কর্মক্ষমতা প্রদর্শন করে
  2. কম-নমুনা প্রভাব সীমিত: উদাহরণ সংখ্যা বৃদ্ধি কর্মক্ষমতা উন্নতি আনেনি, কখনও কখনও শব্দ প্রবর্তন করে
  3. ডেটাসেট পার্থক্য: মডেলগুলি SarcNet এর তুলনায় MMSD2.0 এ সাধারণত ভাল কর্মক্ষমতা প্রদর্শন করে

ব্যাখ্যা প্রজন্ম ফলাফল

মডেলΔ-CLIPScore গড়বৈচিত্র্য
LLaVA1.96627.315
BLIP20.83125.532
PaliGemma0.75716.234
InstructBLIP0.58327.749
Gemma3-2.06346.481
OpenFlamingo-1.75011.526
Qwen-7.14325.515

গুরুত্বপূর্ণ অনুসন্ধান

  1. কর্মক্ষমতা বিচ্ছিন্নতা: শ্রেণীবিভাগ কর্মক্ষমতায় সেরা মডেল (Gemma3) ব্যাখ্যা প্রজন্মে সবচেয়ে খারাপ কর্মক্ষমতা প্রদর্শন করে
  2. স্থাপত্য প্রভাব: VQA-শৈলী স্থাপত্য (BLIP2, LLaVA) উচ্চ-মানের ব্যাখ্যা তৈরির জন্য আরও উপযুক্ত
  3. প্রশিক্ষণ উদ্দেশ্য পার্থক্য: বৈষম্যমূলক প্রশিক্ষণ মডেলগুলি শ্রেণীবিভাগে দক্ষ, উৎপাদনশীল প্রশিক্ষণ মডেলগুলি ব্যাখ্যার জন্য আরও উপযুক্ত

সম্পর্কিত কাজ

বিদ্রূপ সনাক্তকরণ গবেষণা

  1. পাঠ্য বিদ্রূপ সনাক্তকরণ: ঐতিহ্যবাহী গবেষণা প্রধানত বিশুদ্ধ পাঠ্য পরিবেশে বিদ্রূপ সনাক্তকরণের উপর দৃষ্টি নিবদ্ধ করে
  2. বহুমাধ্যমিক বিদ্রূপ সনাক্তকরণ: Schifanella এবং অন্যরা প্রথম প্রমাণ করেছেন যে ভিজ্যুয়াল মোডেল বিদ্রূপ অভিপ্রায় সনাক্ত করতে সহায়ক সংকেত ধারণ করে
  3. বৈশিষ্ট্য সমন্বয় পদ্ধতি: প্রাথমিক কাজ বৈশিষ্ট্য নিষ্কাশনের জন্য বিচ্ছিন্ন এনকোডার ব্যবহার করে, তারপর সমন্বয় কৌশল ডিজাইন করে

ভিশন-ভাষা মডেল

  1. প্রাক-প্রশিক্ষণ মডেল: Flamingo, VILA এবং অন্যান্য মডেল শূন্য-নমুনা এবং কম-নমুনা শিক্ষার ক্ষমতা প্রদর্শন করে
  2. বহুমাধ্যমিক বোঝা: সম্প্রতি মডেলগুলি ক্রস-মোডাল মিথস্ক্রিয়ার প্রাথমিক মডেলিং সম্পর্কে মনোযোগ দিতে শুরু করেছে
  3. নির্দেশনা-সুর-সংবেদনশীলতা: InstructBLIP এবং অন্যান্য মডেল নির্দেশনা-সুর-সংবেদনশীলতার মাধ্যমে বহু-কাজ কর্মক্ষমতা উন্নত করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

  1. মধ্যম সাফল্য: ওপেন-সোর্স VLM গুলি দ্বিমুখী বিদ্রূপ সনাক্তকরণে মধ্যম সাফল্য অর্জন করেছে, তবে উন্নতির জায়গা রয়েছে
  2. ব্যাখ্যা চ্যালেঞ্জ: বর্তমান মডেলগুলি উচ্চ-মানের ব্যাখ্যা তৈরিতে উল্লেখযোগ্য কঠিনতার সম্মুখীন হয়
  3. স্থাপত্য গুরুত্ব: মডেল স্থাপত্য এবং প্রশিক্ষণ উদ্দেশ্য নির্দিষ্ট কাজ কর্মক্ষমতায় গুরুত্বপূর্ণ প্রভাব ফেলে

সীমাবদ্ধতা

  1. নমুনা আকার: মূল্যায়ন নমুনা তুলনামূলকভাবে সীমিত (প্রতিটি ডেটাসেট 3,000 নমুনা)
  2. ভাষা কভারেজ: প্রধানত ইংরেজিতে মনোনিবেশ, বহুভাষিক মূল্যায়ন সীমিত
  3. ব্যাখ্যা মূল্যায়ন: ব্যাখ্যা গুণমান মূল্যায়ন প্রধানত স্বয়ংক্রিয় মেট্রিক্সের উপর নির্ভর করে, মানব মূল্যায়ন অনুপস্থিত

ভবিষ্যত দিকনির্দেশনা

  1. মিশ্র প্রশিক্ষণ উদ্দেশ্য: শ্রেণীবিভাগ এবং ব্যাখ্যা প্রজন্ম উভয়ই অপ্টিমাইজ করে এমন বহু-কাজ শিক্ষা পদ্ধতি বিকাশ করা
  2. চিন্তার শৃঙ্খল প্রম্পটিং: CoT এবং বহু-পর্যায়ের প্রম্পটিং অন্বেষণ করা সমৃদ্ধ মডেল যুক্তি উদ্দীপিত করতে
  3. জ্ঞান বৃদ্ধি: প্রসঙ্গ বোঝা উন্নত করতে RAG প্রযুক্তি বা বাহ্যিক জ্ঞান একীভূত করা
  4. বহুভাষিক সম্প্রসারণ: আরও ভাষা এবং সাংস্কৃতিক পটভূমির বিদ্রূপ সনাক্তকরণে সম্প্রসারণ করা

গভীর মূল্যায়ন

শক্তি

  1. সিস্টেমেটিক মূল্যায়ন: MSD কাজে একাধিক ওপেন-সোর্স VLM এর প্রথম সিস্টেমেটিক মূল্যায়ন
  2. দ্বৈত কাজ: শ্রেণীবিভাগ এবং ব্যাখ্যা ক্ষমতা উভয়ই মূল্যায়ন করা, ব্যাপক দৃষ্টিভঙ্গি প্রদান করা
  3. ব্যবহারিক মূল্য: গবেষকদের উপযুক্ত VLM নির্বাচনের জন্য গুরুত্বপূর্ণ রেফারেন্স প্রদান করা
  4. খোলামেলাতা: কোড এবং ডেটা ওপেন-সোর্স করার প্রতিশ্রুতি, পুনরুৎপাদনযোগ্য গবেষণা প্রচার করা

অপূর্ণতা

  1. গভীর বিশ্লেষণ অপ্রতুলতা: মডেল ব্যর্থতার ক্ষেত্রে গুণগত বিশ্লেষণ কম
  2. মূল্যায়ন মেট্রিক সীমাবদ্ধতা: ব্যাখ্যা গুণমান মূল্যায়ন প্রধানত CLIP সারিবদ্ধতার উপর নির্ভর করে, সম্ভবত সম্পূর্ণ নয়
  3. মডেল আপডেট: কিছু মডেল সংস্করণ তুলনামূলকভাবে পুরানো, সর্বশেষ প্রযুক্তি স্তর প্রতিনিধিত্ব করতে পারে না

প্রভাব

  1. বেঞ্চমার্ক ভূমিকা: MSD ক্ষেত্রে গুরুত্বপূর্ণ বেঞ্চমার্ক মূল্যায়ন প্রদান করা
  2. পদ্ধতি অনুপ্রেরণা: একীভূত মূল্যায়ন কাঠামো অন্যান্য বহুমাধ্যমিক কাজে প্রসারিত করা যায়
  3. ব্যবহারিক নির্দেশনা: বাস্তব প্রয়োগে উপযুক্ত মডেল নির্বাচনের জন্য রেফারেন্স প্রদান করা

প্রযোজ্য দৃশ্যকল্প

  1. সোশ্যাল মিডিয়া বিশ্লেষণ: Twitter, Facebook এবং অন্যান্য প্ল্যাটফর্মের বিষয়বস্তু বোঝার জন্য প্রযোজ্য
  2. আবেগ বিশ্লেষণ: বিস্তৃত আবেগ বিশ্লেষণ সিস্টেমের উপাদান হিসাবে কাজ করা যায়
  3. বিষয়বস্তু সংযম: সম্ভাব্য বিদ্রূপ এবং কটূক্তিপূর্ণ বিষয়বস্তু সনাক্ত করতে সহায়তা করা

রেফারেন্স

পেপারটি 46টি সম্পর্কিত রেফারেন্স উদ্ধৃত করে, যা বিদ্রূপ সনাক্তকরণ, বহুমাধ্যমিক শিক্ষা, ভিশন-ল্যাঙ্গুয়েজ মডেল এবং অন্যান্য গবেষণা ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য একটি দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের অভিজ্ঞতামূলক গবেষণা পেপার যা বহুমাধ্যমিক বিদ্রূপ সনাক্তকরণ কাজে ওপেন-সোর্স VLM এর মূল্যায়নের ফাঁক পূরণ করে। গবেষণা ডিজাইন যুক্তিসঙ্গত, পরীক্ষা ব্যাপক এবং উপসংহার ব্যবহারিক মূল্য রাখে। যদিও গভীর বিশ্লেষণ এবং মূল্যায়ন মেট্রিক্সে উন্নতির জায়গা রয়েছে, তবে এই ক্ষেত্রের উন্নয়নে গুরুত্বপূর্ণ অবদান রেখেছে।