2025-11-17T07:13:12.902991

HebID: Detecting Social Identities in Hebrew-language Political Text

Mor-Lan, Rivlin-Angert, Kaplan et al.

Political language is deeply intertwined with social identities. While social identities are often shaped by specific cultural contexts and expressed through particular uses of language, existing datasets for group and identity detection are predominantly English-centric, single-label and focus on coarse identity categories. We introduce HebID, the first multilabel Hebrew corpus for social identity detection: 5,536 sentences from Israeli politicians' Facebook posts (Dec 2018-Apr 2021), manually annotated for twelve nuanced social identities (e.g. Rightist, Ultra-Orthodox, Socially-oriented) grounded by survey data. We benchmark multilabel and single-label encoders alongside 2B-9B-parameter generative LLMs, finding that Hebrew-tuned LLMs provide the best results (macro-$F_1$ = 0.74). We apply our classifier to politicians' Facebook posts and parliamentary speeches, evaluating differences in popularity, temporal trends, clustering patterns, and gender-related variations in identity expression. We utilize identity choices from a national public survey, enabling a comparison between identities portrayed in elite discourse and the public's identity priorities. HebID provides a comprehensive foundation for studying social identities in Hebrew and can serve as a model for similar research in other non-English political contexts.

academic

HebID: হিব্রু-ভাষার রাজনৈতিক পাঠ্যে সামাজিক পরিচয় সনাক্তকরণ

মৌলিক তথ্য

পেপার আইডি: 2508.15483
শিরোনাম: HebID: Detecting Social Identities in Hebrew-language Political Text
লেখক: Guy Mor-Lan, Naama Rivlin-Angert, Yael R. Kaplan, Tamir Sheafer, Shaul R. Shenhav
শ্রেণীবিভাগ: cs.CL (কম্পিউটেশনাল ভাষাবিজ্ঞান)
প্রকাশনার সময়: arXiv প্রি-প্রিন্ট, ২০২৫ সালের ১২ অক্টোবর
পেপার লিঙ্ক: https://arxiv.org/abs/2508.15483

সারসংক্ষেপ

রাজনৈতিক ভাষা সামাজিক পরিচয়ের সাথে ঘনিষ্ঠভাবে সম্পর্কিত। যদিও সামাজিক পরিচয় প্রায়শই নির্দিষ্ট সাংস্কৃতিক প্রেক্ষাপট দ্বারা গঠিত হয়, বিদ্যমান এনএলপি ডেটাসেটগুলি প্রধানত ইংরেজি-কেন্দ্রিক, একক-লেবেল শ্রেণীবিভাগ ব্যবহার করে এবং মোটা-দানাদার পরিচয় বিভাগে মনোনিবেশ করে। এই পেপারটি HebID উপস্থাপন করে, যা সামাজিক পরিচয় সনাক্তকরণের জন্য প্রথম বহু-লেবেল হিব্রু-ভাষার কর্পাস, যাতে ইসরায়েলি রাজনেতাদের ফেসবুক পোস্ট থেকে ৫,৫৩৬টি বাক্য রয়েছে (ডিসেম্বর ২০১৮-এপ্রিল ২০২১), যা সমীক্ষা ডেটার উপর ভিত্তি করে ১২টি সূক্ষ্ম-দানাদার সামাজিক পরিচয়ের জন্য ম্যানুয়ালি টীকাকৃত (যেমন ডান-পন্থী, চরম অর্থোডক্স, সামাজিক-ভিত্তিক)। গবেষণা বহু-লেবেল এবং একক-লেবেল এনকোডার এবং ২বি-৯বি প্যারামিটারের জেনারেটিভ বড় ভাষা মডেলগুলির তুলনা করে, যা দেখায় যে হিব্রু-সুর-সুরক্ষিত এলএলএম সর্বোত্তম পারফরম্যান্স করে (ম্যাক্রো গড় F1 = 0.74)।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যার বর্ণনা

ভাষা সম্পদের ভারসাম্যহীনতা: বিদ্যমান সামাজিক পরিচয় সনাক্তকরণ সম্পদ প্রায় সম্পূর্ণভাবে ইংরেজি-কেন্দ্রিক, অ-ইংরেজি রাজনৈতিক প্রেক্ষাপটের জন্য সহায়তার অভাব
টীকা দানার স্থূলতা: বিদ্যমান ডেটাসেটগুলি প্রধানত মোটা-দানাদার বিভাগে মনোনিবেশ করে (যেমন রাজনৈতিক দল বা জাতি), জটিল রাজনৈতিক আলোচনা ক্যাপচার করতে পারে না
একক-লেবেল সীমাবদ্ধতা: বেশিরভাগ ডেটাসেট একক-লেবেল শ্রেণীবিভাগ ব্যবহার করে, একাধিক পরিচয় প্রকাশের বাস্তবতা পরিচালনা করতে পারে না
সাংস্কৃতিক প্রেক্ষাপটের অভাব: নির্দিষ্ট সাংস্কৃতিক পটভূমি এবং অভিজ্ঞতামূলক সমীক্ষার উপর ভিত্তি করে পরিচয় বিভাগ নির্বাচনের অভাব

গবেষণার গুরুত্ব

সামাজিক পরিচয় রাজনৈতিক আচরণ এবং জনসাধারণের আলোচনার গুরুত্বপূর্ণ চালক
হিব্রু ভাষা একটি কম-সম্পদ ভাষা হিসাবে, এনএলপি গবেষণায় প্রতিনিধিত্ব অপর্যাপ্ত
ইসরায়েলি রাজনৈতিক পরিবেশের জটিলতা বহু-মাত্রিক পরিচয় প্রকাশ অধ্যয়নের জন্য একটি আদর্শ পরিস্থিতি প্রদান করে

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

গোষ্ঠী উল্লেখ সনাক্তকরণ: শুধুমাত্র স্পষ্ট গোষ্ঠী উল্লেখের মধ্যে সীমাবদ্ধ, নিহিত পরিচয় প্রকাশ ক্যাপচার করতে পারে না
ফ্রেম এবং অবস্থান বিশ্লেষণ: প্রধানত একক-লেবেল অবস্থান বা ফ্রেমে মনোনিবেশ করে, বহু-লেবেল পরিচয় বিভাগ সহায়তার অভাব
আদর্শগত অনুমান: শুধুমাত্র বিস্তৃত আদর্শগত প্রবণতা অনুমান করতে পারে, স্পষ্ট পরিচয় উল্লেখ সনাক্ত করতে পারে না

মূল অবদান

অগ্রগামী ডেটাসেট: প্রথম জনসাধারণের হিব্রু-ভাষার বহু-লেবেল সামাজিক পরিচয় সনাক্তকরণ ডেটাসেট তৈরি করা
সমীক্ষা-চালিত পদ্ধতি: পাঠ্য টীকা গাইড করার জন্য বড় আকারের সমীক্ষা ডেটা ব্যবহারের ভিত্তি স্থাপন করা
ব্যাপক বেঞ্চমার্কিং: এই কাজে এনকোডার এবং ডিকোডার মডেলের কর্মক্ষমতা মূল্যায়ন করা
ক্রস-ডোমেইন মূল্যায়ন: সংসদীয় বক্তৃতা ডেটায় মডেলের সাধারণীকরণ ক্ষমতা যাচাই করা
বাহ্যিক যাচাইকরণ: CHES-Israel বিশেষজ্ঞ সমীক্ষার মাধ্যমে শ্রেণীবিভাজকের কার্যকারিতা যাচাই করা
সামাজিক ভাষাবিজ্ঞান বিশ্লেষণ: বিভিন্ন প্ল্যাটফর্ম এবং জনসংখ্যায় পরিচয় গতিশীলতা প্রকাশ করা

পদ্ধতির বিস্তারিত বিবরণ

কাজের সংজ্ঞা

ইনপুট: হিব্রু-ভাষার বাক্য আউটপুট: ১২টি সামাজিক পরিচয়ের বহু-লেবেল বাইনারি শ্রেণীবিভাগ ফলাফল লক্ষ্য: নির্ধারণ করা যে প্রদত্ত বাক্যে কোন সামাজিক পরিচয় সক্রিয়ভাবে প্রকাশ বা উল্লেখ করা হয়েছে

পরিচয় বিভাগ নির্বাচন পদ্ধতি

সমীক্ষা ভিত্তি: ১২ তরঙ্গ প্রতিনিধিত্বমূলক প্যানেল সমীক্ষার উপর ভিত্তি করে (N=১,৭৬৯), ২০১৯ সালের জানুয়ারি থেকে ২০২১ সালের এপ্রিল পর্যন্ত বিস্তৃত
বিশেষজ্ঞ নির্দেশনা: ২৮টি প্রার্থী পরিচয় ইসরায়েলি রাজনৈতিক বিশেষজ্ঞদের প্যানেল দ্বারা নির্বাচিত
থ্রেশহোল্ড ফিল্টারিং: প্রথম পাঁচটি সমীক্ষায় ধারাবাহিকভাবে ৫% নির্বাচন থ্রেশহোল্ড অতিক্রম করে এমন ১২টি পরিচয় নির্বাচন করা

টীকা স্কিম

১২টি সামাজিক পরিচয় বিভাগ:

আদর্শগত: ডান-পন্থী, বাম-পন্থী, রক্ষণশীল, উদার
অর্থনৈতিক: পুঁজিবাদী, সামাজিক-ভিত্তিক
রাজনৈতিক মূল্যবোধ: গণতান্ত্রিক, সততা
সাংস্কৃতিক-ধর্মীয়: জায়োনিস্ট, চরম অর্থোডক্স
গোষ্ঠী: ফিলিস্তিনি এবং আরব ইসরায়েলি নাগরিক, নিরাপত্তা-ভিত্তিক

টীকা নীতি:

শুধুমাত্র সক্রিয়ভাবে প্রকাশিত পরিচয় টীকা করা
বহু-লেবেল শ্রেণীবিভাগ সমর্থন করা
বক্তা পরিচয়ের পরিবর্তে বিষয়বস্তুর উপর ভিত্তি করে

ডেটাসেট নির্মাণ

উৎস: ইসরায়েলি সংসদ সদস্য, রাজনৈতিক দল এবং প্রার্থীদের ফেসবুক পোস্ট
সময়ের পরিসীমা: ডিসেম্বর ২০১৮ থেকে এপ্রিল ২০২১
আকার: ৬৪কে পোস্ট (৩৭৫কে বাক্য) থেকে ৫,৫৩৬টি বাক্য নমুনা
টীকাকারদের মধ্যে সামঞ্জস্য: গড় Cohen's κ = 0.77

পরীক্ষামূলক সেটআপ

ডেটাসেট বিভাজন

প্রশিক্ষণ সেট: ৭০% (৩,৮৭৫ বাক্য)
যাচাইকরণ সেট: ১৫% (৮৩০ বাক্য)
পরীক্ষা সেট: ১৫% (৮৩১ বাক্য)

মডেল প্রকার

বেসলাইন মডেল: লজিস্টিক রিগ্রেশন এবং LinearSVC (TF-IDF বৈশিষ্ট্য)
বহু-লেবেল এনকোডার: ১২টি পরিচয় লেবেল যৌথ শিক্ষা
একক-লেবেল এনকোডার: প্রতিটি লেবেলের জন্য আলাদাভাবে সূক্ষ্ম-সুর করা
ডিকোডার এলএলএম: কমা-বিভক্ত লেবেল তালিকা তৈরি করা

মূল্যায়ন মডেল

এনকোডার মডেল:

বহুভাষিক: mBERT
হিব্রু-নির্দিষ্ট: AlephBERT, HERO, DictaBERT (base/large)

ডিকোডার এলএলএম:

সর্বজনীন: Gemma 2 (২B/৯B), Qwen3-8B
হিব্রু-নির্দিষ্ট: DictaLM2.0

মূল্যায়ন মেট্রিক্স

ম্যাক্রো গড় নির্ভুলতা, স্মরণ, F1 স্কোর
প্রতিটি পরিচয় বিভাগের জন্য F1 স্কোর

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

সর্বোত্তম পারফরম্যান্স: DictaLM2.0 ম্যাক্রো গড় F1 = 0.743 অর্জন করে, এনকোডার মডেলগুলির চেয়ে উল্লেখযোগ্যভাবে ভাল

মডেল প্রকার	সেরা মডেল	ম্যাক্রো গড় F1
ডিকোডার এলএলএম	DictaLM2.0	0.743
বহু-লেবেল এনকোডার	DictaBERT-Large	0.678
একক-লেবেল এনকোডার	DictaBERT-Large	0.659
বেসলাইন	LinearSVC	0.361

মূল আবিষ্কার

ভাষা-নির্দিষ্ট মডেল সুবিধা: হিব্রু-সুর-সুরক্ষিত DictaLM2.0 ৮/১২টি পরিচয় বিভাগে সর্বোত্তম পারফরম্যান্স করে
বহু-লেবেল শিক্ষার কার্যকারিতা: বহু-লেবেল এনকোডার একক-লেবেল সমন্বয়ের চেয়ে উন্নত (0.678 বনাম 0.659)
ডিকোডার সুবিধা: জেনারেটিভ পদ্ধতি বহু-লেবেল কাজে আরও ভাল পারফরম্যান্স করে

ক্রস-ডোমেইন সাধারণীকরণ

৫০০টি সংসদীয় বক্তৃতা বাক্যে পরীক্ষা ম্যাক্রো গড় F1 = 0.72 দেখায়, ফেসবুক ডেটা পারফরম্যান্সের সাথে তুলনীয়, মডেলের ক্রস-ডোমেইন সাধারণীকরণ ক্ষমতা প্রমাণ করে।

বাহ্যিক যাচাইকরণ

CHES-Israel বিশেষজ্ঞ সমীক্ষার সাথে সম্পর্ক বিশ্লেষণ দেখায় যে ২১টি সম্পর্কের মধ্যে ১৬টি p ≤ 0.1 স্তরে উল্লেখযোগ্য, ১৩টি p ≤ 0.05 স্তরে উল্লেখযোগ্য, সম্পর্ক সহগ |r| = 0.71 থেকে 0.94 পর্যন্ত।

সামাজিক ভাষাবিজ্ঞান বিশ্লেষণ

পরিচয় জনপ্রিয়তা তুলনা

ক্রস-প্ল্যাটফর্ম সামঞ্জস্য: সামাজিক-ভিত্তিক, ডান-পন্থী এবং গণতান্ত্রিক পরিচয় সমস্ত ডেটা উৎসে সর্বজনীনভাবে জনপ্রিয়
প্ল্যাটফর্ম পার্থক্য: সততা এবং জায়োনিস্ট পরিচয় জনসাধারণের মধ্যে আরও জনপ্রিয়, সামাজিক-ভিত্তিক পরিচয় সংসদে আরও বিশিষ্ট

সময় প্রবণতা বিশ্লেষণ

নির্বাচন চক্র প্রভাব: পরিচয় সম্পর্কিত আলোচনা চারটি নির্বাচনের তিনটিতে শিখর অর্জন করে
অভিজাত-জনসাধারণ বিভাজন:
- সামাজিক-ভিত্তিক পরিচয়: জনসাধারণের স্বীকৃতি হ্রাস, রাজনেতাদের ব্যবহার বৃদ্ধি
- সততা এবং গণতান্ত্রিক পরিচয়: জনসাধারণের স্বীকৃতি বৃদ্ধি, অভিজাত আলোচনায় হ্রাস

পরিচয় ক্লাস্টারিং প্যাটার্ন

ফ্যাক্টর বিশ্লেষণ প্রধান বাম-ডান বিভাজন প্রকাশ করে:

বাম-পন্থী ক্লাস্টার: বাম-পন্থী, গণতান্ত্রিক, সততা, উদার, ফিলিস্তিনি
ডান-পন্থী ক্লাস্টার: ডান-পন্থী, রক্ষণশীল, জায়োনিস্ট, নিরাপত্তা-ভিত্তিক, পুঁজিবাদী, চরম অর্থোডক্স

লিঙ্গ পার্থক্য

পরিচয় প্রকাশের তীব্রতা: মহিলারা সমস্ত ডেটা উৎসে আরও বেশি পরিচয় প্রকাশ করেন
পরিচয় পছন্দ:
- পুরুষ প্রবণতা: ডান-পন্থী, নিরাপত্তা-ভিত্তিক, পুঁজিবাদী, চরম অর্থোডক্স
- মহিলা প্রবণতা: সামাজিক-ভিত্তিক পরিচয় সমস্ত প্ল্যাটফর্মে উল্লেখযোগ্যভাবে মহিলা-পক্ষপাতী

উপসংহার এবং আলোচনা

প্রধান সিদ্ধান্ত

হিব্রু-নির্দিষ্ট মডেল সামাজিক পরিচয় সনাক্তকরণ কাজে সর্বজনীন বহুভাষিক মডেলের চেয়ে উল্লেখযোগ্যভাবে ভাল
বহু-লেবেল শিক্ষা পদ্ধতি পরিচয় প্রকাশের জটিলতা আরও ভালভাবে ক্যাপচার করতে পারে
সমীক্ষা ডেটার উপর ভিত্তি করে টীকা ফ্রেমওয়ার্ক সাংস্কৃতিক-সংবেদনশীল পরিচয় বিভাগ নির্বাচনের একটি পদ্ধতি প্রদান করে
ক্রস-প্ল্যাটফর্ম বিশ্লেষণ অভিজাত আলোচনা এবং জনসাধারণের স্বীকৃতির মধ্যে গুরুত্বপূর্ণ পার্থক্য প্রকাশ করে

সীমাবদ্ধতা

সময় এবং প্ল্যাটফর্ম পরিসীমা: ডেটা নির্দিষ্ট সময়ের মধ্যে সীমাবদ্ধ, Twitter এর মতো অন্যান্য প্ল্যাটফর্ম অন্তর্ভুক্ত করে না
সমীক্ষা জনসংখ্যা সীমাবদ্ধতা: শুধুমাত্র ইহুদি নাগরিক অন্তর্ভুক্ত, আরব নাগরিকদের প্রতিনিধিত্ব অভাব
টীকা দানা: ৫% থ্রেশহোল্ডের উপর ভিত্তি করে গুরুত্বপূর্ণ কিন্তু কম ফ্রিকোয়েন্সির পরিচয় মিস করতে পারে
মডেল পক্ষপাত: শ্রেণীবিভাজক প্রশিক্ষণ ডেটা এবং প্রাক-প্রশিক্ষিত মডেলের পক্ষপাত উত্তরাধিকার হতে পারে

ভবিষ্যত দিকনির্দেশনা

আরও প্ল্যাটফর্ম এবং সময় সময়কাল সম্প্রসারণ
আরও বৈচিত্র্যময় জনসংখ্যা নমুনা অন্তর্ভুক্ত করা
মডেল পক্ষপাত হ্রাস করার পদ্ধতি বিকাশ করা
উদীয়মান পরিচয় বিভাগের গতিশীল টীকা অন্বেষণ করা

গভীর মূল্যায়ন

শক্তি

পদ্ধতি উদ্ভাবন: প্রথমবারের মতো বড় আকারের সমীক্ষা ডেটা পাঠ্য টীকার সাথে একত্রিত করা, একটি সাংস্কৃতিক-সংবেদনশীল গবেষণা ফ্রেমওয়ার্ক প্রদান করা
প্রযুক্তিগত অবদান: কম-সম্পদ ভাষায় শক্তিশালী বেসলাইন স্থাপন করা, ভাষা-নির্দিষ্ট মডেলের গুরুত্ব প্রমাণ করা
পরীক্ষামূলক সম্পূর্ণতা: একাধিক মডেল প্রকার, ক্রস-ডোমেইন মূল্যায়ন এবং বাহ্যিক যাচাইকরণ অন্তর্ভুক্ত করা
সামাজিক বিজ্ঞান মূল্য: রাজনৈতিক আলোচনা এবং পরিচয় গতিশীলতার গভীর অন্তর্দৃষ্টি প্রদান করা

অপূর্ণতা

ডেটা প্রতিনিধিত্ব: সমীক্ষা নমুনার সীমাবদ্ধতা পরিচয় বিভাগের সর্বজনীনতা প্রভাবিত করতে পারে
টীকা সামঞ্জস্য: নির্দিষ্ট বিভাগের κ মান তুলনামূলকভাবে কম (যেমন রক্ষণশীল: 0.705)
মূল্যায়ন পরিসীমা: ক্রস-ডোমেইন মূল্যায়ন শুধুমাত্র ৫০০ নমুনার উপর ভিত্তি করে, যথেষ্ট নয় হতে পারে

প্রভাব

একাডেমিক মূল্য: কম্পিউটেশনাল সামাজিক বিজ্ঞান এবং বহুভাষিক এনএলপির জন্য গুরুত্বপূর্ণ সম্পদ প্রদান করা
ব্যবহারিক মূল্য: রাজনৈতিক যোগাযোগ বিশ্লেষণ, জনমত পর্যবেক্ষণ ইত্যাদি অ্যাপ্লিকেশনের জন্য ব্যবহারযোগ্য
পদ্ধতিগত অবদান: অন্যান্য অ-ইংরেজি রাজনৈতিক প্রেক্ষাপটে অনুরূপ গবেষণার জন্য একটি টেমপ্লেট প্রদান করা

প্রযোজ্য পরিস্থিতি

রাজনৈতিক যোগাযোগ গবেষণা
সামাজিক পরিচয় বিশ্লেষণ
বহুভাষিক অনুভূতি বিশ্লেষণ
রাজনৈতিক আলোচনা পর্যবেক্ষণ
ক্রস-সাংস্কৃতিক তুলনামূলক গবেষণা

সংদর্ভ

এই পেপারটি সামাজিক পরিচয় তত্ত্ব, কম্পিউটেশনাল ভাষাবিজ্ঞান, রাজনৈতিক যোগাযোগ বিজ্ঞান ইত্যাদি একাধিক ক্ষেত্রের গুরুত্বপূর্ণ সাহিত্য উদ্ধৃত করে, বিশেষত Tajfel এবং Turner (১৯৭৯) এর গোষ্ঠী-আন্তঃ সংঘর্ষ একীকরণ তত্ত্ব তাত্ত্বিক ভিত্তি হিসাবে, এবং গোষ্ঠী উল্লেখ সনাক্তকরণ, ফ্রেম বিশ্লেষণ ইত্যাদি ক্ষেত্রে সাম্প্রতিক এনএলপি গবেষণা।

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের আন্তঃশৃঙ্খলা গবেষণা, পদ্ধতি, প্রযুক্তিগত বাস্তবায়ন এবং সামাজিক বিজ্ঞান অন্তর্দৃষ্টিতে গুরুত্বপূর্ণ অবদান রাখে। গবেষণা হিব্রু-ভাষার রাজনৈতিক পাঠ্য বিশ্লেষণের শূন্যতা পূরণ করে, বহুভাষিক এনএলপি এবং কম্পিউটেশনাল সামাজিক বিজ্ঞানের উন্নয়নে মূল্যবান অবদান রাখে।