ই-কমার্স সার্চে কোয়েরি ব্র্যান্ড এন্টিটি লিংকিং

মৌলিক তথ্য

• পেপার আইডি: 2502.01555
• শিরোনাম: Query Brand Entity Linking in E-Commerce Search
• লেখক: Dong Liu, Sreyashi Nag (Amazon)
• শ্রেণীবিভাগ: cs.IR cs.AI cs.LG
• প্রকাশনার সময়/সম্মেলন: ২০২৫ (arXiv প্রি-প্রিন্ট)
• পেপার লিংক: https://arxiv.org/abs/2502.01555

সারসংক্ষেপ

এই পেপারটি ই-কমার্স সার্চ কোয়েরিতে ব্র্যান্ড এন্টিটি লিংকিং সমস্যার সমাধান করে। এন্টিটি লিংকিং কাজটি দুটি উপায়ে সম্পন্ন হয়: ১) এন্টিটি উল্লেখ সনাক্তকরণ এবং এন্টিটি বিভ্রান্তি নিরসনের দুই-পর্যায়ের প্রক্রিয়া; ২) ইনপুট টেক্সট থেকে সরাসরি লক্ষ্য এন্টিটি প্রাপ্তির সম্পূর্ণ-থেকে-সম্পূর্ণ লিংকিং পদ্ধতি। এই কাজটি অনন্য চ্যালেঞ্জের সম্মুখীন হয়: কোয়েরি অত্যন্ত সংক্ষিপ্ত (গড়ে ২.৪ শব্দ), প্রাকৃতিক ভাষা কাঠামোর অভাব, বৃহৎ-স্কেল ব্র্যান্ড স্থান পরিচালনার প্রয়োজন। নিবন্ধটি নামকরণ এন্টিটি স্বীকৃতি এবং ম্যাচিং একত্রিত করার একটি দুই-পর্যায়ের পদ্ধতি এবং চরম বহু-শ্রেণীবিভাগ ব্যবহার করে একটি উপন্যাস সম্পূর্ণ-থেকে-সম্পূর্ণ সমাধান প্রস্তাব করে। অফলাইন বেঞ্চমার্ক পরীক্ষা এবং অনলাইন A/B পরীক্ষার মাধ্যমে সমাধানের কার্যকারিতা যাচাই করা হয়েছে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

ই-কমার্স সার্চে, ব্র্যান্ড সনাক্তকরণ পণ্যের ধরন পরবর্তী দ্বিতীয় সবচেয়ে গুরুত্বপূর্ণ বৈশিষ্ট্য। ব্র্যান্ড নাম সঠিকভাবে সনাক্ত করা (সরাসরি উল্লেখ হোক বা পরোক্ষ উল্লেখ) সার্চ কোয়েরি বোঝার একটি গুরুত্বপূর্ণ অংশ এবং ভাল কেনাকাটার অভিজ্ঞতা প্রদানের জন্য অপরিহার্য।

চ্যালেঞ্জ বিশ্লেষণ

১. কোয়েরি বৈশিষ্ট্য সীমাবদ্ধতা: ই-কমার্স কোয়েরি অত্যন্ত সংক্ষিপ্ত (গড়ে ২.৪ শব্দ), প্রাকৃতিক ভাষা কাঠামোর অভাব, ওপেন-সোর্স NLP মডেলগুলি এই ধরনের কোয়েরি বিতরণ পরিচালনা করতে কঠিন ২. বিশাল ব্র্যান্ড স্থান: দশ লক্ষ অনন্য ব্র্যান্ড পরিচালনা করতে হবে এবং ক্রমাগত নতুন ব্র্যান্ড যোগ হচ্ছে ३. বৈচিত্র্য সমস্যা:

• বিভিন্ন ভাষা এবং অঞ্চলে ব্র্যান্ড নামের বৈচিত্র্য একীকরণ
• একই ব্র্যান্ডের বিভিন্ন পৃষ্ঠ ফর্ম (সংক্ষিপ্ত বনাম সম্পূর্ণ নাম)
• মূল ব্র্যান্ড এবং সাব-ব্র্যান্ড সম্পর্ক সনাক্তকরণ

গবেষণা প্রেরণা

বিদ্যমান স্ট্রিং-ভিত্তিক ব্র্যান্ড সনাক্তকরণ পদ্ধতিগুলির সীমাবদ্ধতা রয়েছে, ব্র্যান্ড ধারণাগুলিকে একক নামকরণ স্থানে বৈশ্বিক ব্র্যান্ড এন্টিটিতে একীভূত করার প্রয়োজন, ভাষা জুড়ে, দোকান জুড়ে এবং পৃষ্ঠ ফর্ম জুড়ে একীভূত সনাক্তকরণ অর্জন করতে।

মূল অবদান

१. দুই-পর্যায়ের এন্টিটি লিংকিং মডেল নির্মাণ: প্রশিক্ষিত NER মডেল এবং পৃষ্ঠ ফর্ম ম্যাচিং একত্রিত করে ব্র্যান্ড এন্টিটি পূর্বাভাস কাঠামো २. ম্যাচিং কৌশল অন্বেষণ: শব্দভান্ডার এবং শব্দার্থিক ম্যাচিং কৌশল বিকাশ করা এবং বৃহৎ-স্কেল ব্র্যান্ড আউটপুট স্থানের এন্টিটি পূর্বাভাসের অপ্টিমাইজেশনের জন্য পণ্য ধরনের উপর ভিত্তি করে ফিল্টারিং পদক্ষেপ প্রস্তাব করা ३. সম্পূর্ণ-থেকে-সম্পূর্ণ চরম বহু-শ্রেণীবিভাগ মডেল প্রস্তাব: সরাসরি সার্চ কোয়েরি থেকে প্রাসঙ্গিক ব্র্যান্ড এন্টিটি পূর্বাভাস দেওয়া এবং দুই-পর্যায়ের মডেলের সাথে একীভূত করা ४. ব্যাপক যাচাইকরণ: বৃহৎ-স্কেল অফলাইন পরীক্ষা বেঞ্চমার্ক এবং অনলাইন A/B পরীক্ষার মাধ্যমে সমাধানের কার্যকারিতা যাচাই করা

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

একটি প্রদত্ত ব্র্যান্ড সার্চ কোয়েরি (যেমন " running shoes") দেওয়া, ব্র্যান্ড ডাটাবেসে অনন্য ব্র্যান্ড এন্টিটি সনাক্ত এবং লিংক করা। ইনপুট হল মূল কোয়েরি টেক্সট, আউটপুট হল সংশ্লিষ্ট ব্র্যান্ড এন্টিটি আইডি।

মডেল আর্কিটেকচার

१. দুই-পর্যায়ের কাঠামো

মৌলিক দুই-পর্যায়ের পদ্ধতি (NER + সঠিক শব্দভান্ডার ম্যাচিং):

• প্রথম পর্যায়: MetaTS-NER মডেল ব্যবহার করে ব্র্যান্ড উল্লেখ নিষ্কাশন

  m = f_NER(q)
  

• দ্বিতীয় পর্যায়: স্ট্যাটিক অভিধানের মাধ্যমে সঠিক স্ট্রিং ম্যাচিং

  E_ID = g(m)
  

• ফিল্টারিং পদক্ষেপ: পণ্য ধরনের উপর ভিত্তি করে বিভ্রান্তি নিরসন

  e = h(E_ID, q, PT_q)
  

উন্নত দুই-পর্যায়ের পদ্ধতি (NER + PECOS শব্দার্থিক ম্যাচিং):

• ম্যাচিং পদক্ষেপটিকে চরম বহু-শ্রেণীবিভাগ সমস্যা হিসাবে মডেল করা
• বৃহৎ-স্কেল ব্র্যান্ড এন্টিটি স্থান (প্রায় ৬০,০০০ এন্টিটি) পরিচালনা করতে PECOS ফ্রেমওয়ার্ক ব্যবহার করা
• ব্র্যান্ড এন্টিটি এবং তাদের প্রাসঙ্গিকতা স্কোর আউটপুট: (E_ID, S) = g_M2E(m)

२. সম্পূর্ণ-থেকে-সম্পূর্ণ কাঠামো (Q2E-PECOS)

কোয়েরি থেকে সরাসরি ব্র্যান্ড এন্টিটি পূর্বাভাস দেওয়া, NER পর্যায়ের ত্রুটি প্রচার এড়ানো:

(E_ID, S) = g_Q2E(q)
e = h(E_ID, PT_q, S, q)

মূল বৈশিষ্ট্য:

• অ-ব্র্যান্ড কোয়েরি পরিচালনা করতে NIL শ্রেণী যোগ করা
• সময় জটিলতা: O(b × log L), যেখানে b হল beam size, L হল ব্র্যান্ড এন্টিটি সংখ্যা
• স্থান জটিলতা: O(d × L) থেকে O(d × log L) এ হ্রাস

३. একীভূত কাঠামো

দুই-পর্যায়ের সঠিক ম্যাচিং এবং সম্পূর্ণ-থেকে-সম্পূর্ণ পদ্ধতির সুবিধা একত্রিত করা:

• দুটি পদ্ধতি সমান্তরালভাবে সম্পাদন করা
• সঠিক ম্যাচিং ফলাফল উচ্চ নির্ভুলতা নিশ্চিত করতে অগ্রাধিকার দেওয়া
• কভারেজ উন্নত করতে Q2E-PECOS ফলাফলে ফিরে যাওয়া

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. ব্র্যান্ড লিংকিংয়ে PECOS প্রয়োগ: ই-কমার্স ব্র্যান্ড এন্টিটি লিংকিংয়ে চরম বহু-শ্রেণীবিভাগ কাঠামো প্রথমবার প্রয়োগ করা २. পণ্য ধরন সহায়ক বিভ্রান্তি নিরসন: কোয়েরি পণ্য ধরন তথ্য ব্র্যান্ড এন্টিটি বিভ্রান্তি নিরসনের জন্য ব্যবহার করা ३. বহুভাষিক সমর্থন: ১३টি ভাষায় ব্র্যান্ড স্বীকৃতি সমর্থন করা ४. একীভূত কৌশল: উচ্চ নির্ভুলতা এবং উচ্চ রিকল পদ্ধতি চতুরভাবে একত্রিত করা

পরীক্ষা সেটআপ

ডেটাসেট

ডেটা গঠন: १. Brand2entity (B2E): ব্র্যান্ড নাম-এন্টিটি জোড়ার অভ্যন্তরীণ অভিধান २. শক্তিশালী লেবেল ডেটা (SL): মানব-লেবেল করা १३টি ভাষার সার্চ কোয়েরি ডেটা ३. দুর্বল লেবেল ডেটা (WL): ঐতিহাসিক কোয়েরি-পণ্য ইন্টারঅ্যাকশন থেকে প্রাপ্ত দুর্বল তত্ত্বাবধান ডেটা

মূল্যায়ন মেট্রিক্স

• রিকল: Recall = |C| / |L_single|
• নির্ভুলতা: Precision = |C| / |P_single|
• কভারেজ: Coverage = |P_single| / |T|
• F१ স্কোর: সুরেলা গড়

যেখানে C হল সঠিক পূর্বাভাস সেট, L_single হল একক ব্র্যান্ড এন্টিটি লেবেল কোয়েরি সেট, P_single হল মডেল পূর্বাভাস একক ব্র্যান্ড এন্টিটি কোয়েরি সেট।

তুলনা পদ্ধতি

१. NER + সঠিক শব্দভান্ডার ম্যাচিং: বেসলাইন দুই-পর্যায়ের পদ্ধতি २. NER + M2E-PECOS: শব্দার্থিক ম্যাচিংয়ের দুই-পর্যায়ের পদ্ধতি ३. Bi-encoder: Qwen३ Embedding ०.६B ব্যবহার করে দ্বি-এনকোডার বেসলাইন ४. Q2E-PECOS: সম্পূর্ণ-থেকে-সম্পূর্ণ PECOS পদ্ধতি ५. একীভূত মডেল: হাইব্রিড পদ্ধতির বিভিন্ন সমন্বয়

পরীক্ষা ফলাফল

প্রধান ফলাফল

মূল অনুসন্ধান:

• সম্পূর্ণ-থেকে-সম্পূর্ণ Q2E-PECOS কভারেজ এবং রিকল উল্লেখযোগ্যভাবে উন্নত করে
• একীভূত কৌশল উচ্চ নির্ভুলতা বজায় রেখে রিকল উন্নত করে
• দুর্বল লেবেল ডেটা সম্পূর্ণ-থেকে-সম্পূর্ণ মডেলের কর্মক্ষমতা উন্নতিতে স্পষ্ট

বহুভাষিক কর্মক্ষমতা বিশ্লেষণ

বিভিন্ন ভাষায় কর্মক্ষমতা উল্লেখযোগ্যভাবে পরিবর্তিত হয়:

• উচ্চ-সম্পদ ভাষা (ইংরেজি, স্প্যানিশ): সমস্ত পদ্ধতি ভাল পারফরম্যান্স দেখায়
• কম-সম্পদ ভাষা (জাপানি): NER+সঠিক ম্যাচিং কভারেজ মাত্র १९.०३%
• একীভূত পদ্ধতি: সমস্ত ভাষায় নির্ভুলতা এবং রিকল ভারসাম্য রাখতে পারে

মিথ্যা ইতিবাচক হার বিশ্লেষণ

८५K অ-ব্র্যান্ড কোয়েরিতে মিথ্যা ইতিবাচক হার:

• NER + সঠিক ম্যাচিং: १.१७७%
• Q2E-PECOS (দুর্বল লেবেল সহ): ६.५५०%

যদিও সম্পূর্ণ-থেকে-সম্পূর্ণ পদ্ধতির মিথ্যা ইতিবাচক হার বেশি, সামগ্রিক কর্মক্ষমতা উন্নতি বিবেচনা করে এটি এখনও গ্রহণযোগ্য পরিসরে রয়েছে।

অনলাইন A/B পরীক্ষা ফলাফল

অনলাইন পরীক্ষা একীভূত সমাধানের প্রকৃত ব্যবসায়িক মূল্য নিশ্চিত করে।

সম্পর্কিত কাজ

ঐতিহ্যবাহী এন্টিটি লিংকিং পদ্ধতি

• দুই-পর্যায়ের ডিজাইন: এন্টিটি স্বীকৃতি + এন্টিটি বিভ্রান্তি নিরসন
• প্রার্থী প্রজন্ম: পৃষ্ঠ ফর্ম ম্যাচিং, উপনাম সম্প্রসারণ, পূর্বাভাস সম্ভাবনা ম্যাচিং
• প্রার্থী র‍্যাঙ্কিং: সম্পাদনা দূরত্ব, শব্দার্থিক ভেক্টর সাদৃশ্য

সম্পূর্ণ-থেকে-সম্পূর্ণ পদ্ধতি

• যৌথ শিক্ষা: একযোগে স্বীকৃতি এবং বিভ্রান্তি নিরসন
• ক্রম লেবেলিং: BERT-ভিত্তিক টোকেন শ্রেণীবিভাগ
• স্বয়ংক্রিয় প্রজন্ম: টোকেন-দ্বারা-টোকেন এন্টিটি নাম প্রজন্ম

ই-কমার্স ডোমেনের বিশেষত্ব

• কোয়েরি বৈশিষ্ট্য: সংক্ষিপ্ত, শব্দ, অস্পষ্টতা
• প্রয়োগের দৃশ্য: পণ্য পুনরুদ্ধার, কোয়েরি পুনর্লিখন, সার্চ ফলাফল গুণমান উন্নতি
• প্রযুক্তিগত চ্যালেঞ্জ: শব্দভান্ডার প্রসঙ্গের অভাব, বৃহৎ-স্কেল জ্ঞান ভিত্তি

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. সম্পূর্ণ-থেকে-সম্পূর্ণ পদ্ধতির সুবিধা: Q2E-PECOS ঐতিহ্যবাহী দুই-পর্যায়ের পদ্ধতির তুলনায় কভারেজ এবং রিকলে উল্লেখযোগ্যভাবে উন্নত २. একীভূত কৌশল কার্যকর: উচ্চ নির্ভুলতা শব্দভান্ডার ম্যাচিং এবং উচ্চ রিকল শব্দার্থিক ম্যাচিং একত্রিত করার একীভূত পদ্ধতি সর্বোত্তম পারফরম্যান্স দেখায় ३. ডেটা গুরুত্ব: দুর্বল লেবেল ডেটা সম্পূর্ণ-থেকে-সম্পূর্ণ মডেলের কর্মক্ষমতা উন্নতির জন্য গুরুত্বপূর্ণ ४. ব্যবহারিক মূল্য: অনলাইন A/B পরীক্ষা পদ্ধতির ব্যবসায়িক মূল্য নিশ্চিত করে

সীমাবদ্ধতা

१. মিথ্যা ইতিবাচক হার: সম্পূর্ণ-থেকে-সম্পূর্ণ পদ্ধতি অ-ব্র্যান্ড কোয়েরিতে মিথ্যা ইতিবাচক হার বেশি २. ভাষা পার্থক্য: কম-সম্পদ ভাষার কর্মক্ষমতা এখনও উন্নতির জায়গা রয়েছে ३. গণনা জটিলতা: একীভূত পদ্ধতি একাধিক মডেল সমান্তরালভাবে চালাতে হবে ४. ডেটা নির্ভরতা: সম্পূর্ণ-থেকে-সম্পূর্ণ প্রশিক্ষণ সমর্থন করতে বিপুল দুর্বল লেবেল ডেটা প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

१. মডেল অপ্টিমাইজেশন: মিথ্যা ইতিবাচক হার আরও হ্রাস করা, কম-সম্পদ ভাষার কর্মক্ষমতা উন্নত করা २. দক্ষতা উন্নতি: গণনা জটিলতা অপ্টিমাইজ করা, অনুমান বিলম্ব হ্রাস করা ३. ক্রস-ডোমেইন স্থানান্তর: পদ্ধতি অন্যান্য ই-কমার্স বৈশিষ্ট্য নিষ্কাশন কাজে প্রসারিত করা ४. গতিশীল আপডেট: নতুন ব্র্যান্ডের রিয়েল-টাইম সংযোজন এবং আপডেট পরিচালনা করা

গভীর মূল্যায়ন

সুবিধা

१. সমস্যার গুরুত্ব: ই-কমার্স সার্চে মূল সমস্যার সমাধান করে, উল্লেখযোগ্য ব্যবহারিক মূল্য রয়েছে २. পদ্ধতি উদ্ভাবন: ব্র্যান্ড এন্টিটি লিংকিংয়ে PECOS চরম বহু-শ্রেণীবিভাগ কাঠামো প্রথমবার প্রয়োগ করা ३. ব্যাপক পরীক্ষা: বহুভাষিক, একাধিক পদ্ধতি তুলনা, অনলাইন A/B পরীক্ষা যাচাইকরণ অন্তর্ভুক্ত ४. প্রকৌশল ব্যবহারিকতা: প্রকৃত স্থাপনায় দক্ষতা এবং নির্ভুলতা ভারসাম্য বিবেচনা করা ५. সমৃদ্ধ ডেটা: বৃহৎ-স্কেল প্রকৃত ই-কমার্স ডেটা ব্যবহার করা

অপূর্ণতা

१. তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: সম্পূর্ণ-থেকে-সম্পূর্ণ পদ্ধতি কেন আরও কার্যকর তার তাত্ত্বিক ব্যাখ্যার অভাব २. সীমিত অ্যাবলেশন পরীক্ষা: প্রতিটি উপাদানের অবদানের বিশ্লেষণ যথেষ্ট গভীর নয় ३. মিথ্যা ইতিবাচক সমস্যা: সম্পূর্ণ-থেকে-সম্পূর্ণ পদ্ধতির মিথ্যা ইতিবাচক হার বেশি, আরও অপ্টিমাইজেশন প্রয়োজন ४. গণনা ওভারহেড: একীভূত পদ্ধতির গণনা জটিলতা বিশ্লেষণ যথেষ্ট বিস্তারিত নয়

প্রভাব

१. একাডেমিক অবদান: ই-কমার্স NLP ক্ষেত্রে নতুন প্রযুক্তিগত সমাধান প্রদান করে २. ব্যবহারিক মূল্য: Amazon-এ প্রকৃত স্থাপনা, ব্যবসায়িক মূল্য প্রমাণিত ३. পুনরুৎপাদনযোগ্যতা: বিস্তারিত পরীক্ষা সেটআপ এবং ডেটা বর্ণনা প্রদান করা ४. অনুপ্রেরণামূলক তাৎপর্য: অন্যান্য ই-কমার্স বৈশিষ্ট্য নিষ্কাশন কাজের জন্য রেফারেন্স প্রদান করে

প্রযোজ্য দৃশ্য

१. ই-কমার্স প্ল্যাটফর্ম: বিভিন্ন ই-কমার্স সার্চ ইঞ্জিনের ব্র্যান্ড স্বীকৃতি २. বহুভাষিক পরিবেশ: বহুভাষিক সমর্থন সহ বৈশ্বিক ই-কমার্স প্ল্যাটফর্ম ३. বৃহৎ-স্কেল প্রয়োগ: বিশাল কোয়েরি পরিচালনা করার জন্য রিয়েল-টাইম সিস্টেম প্রয়োজন ४. বৈশিষ্ট্য নিষ্কাশন: অন্যান্য পণ্য বৈশিষ্ট্যের এন্টিটি লিংকিং কাজে প্রসারিত করা যায়

তথ্যসূত্র

পেপারটি একাধিক গুরুত্বপূর্ণ সম্পর্কিত কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

• PECOS কাঠামোর মূল পেপার Yu et al., 2022
• MetaTS-NER বহুভাষিক ক্রম লেবেলিং মডেল Li et al., 2021
• ঐতিহ্যবাহী এন্টিটি লিংকিং পদ্ধতি Cao et al., 2017; Le & Titov, 2019
• ই-কমার্স কোয়েরি বোঝার সম্পর্কিত কাজ Kozareva et al., 2016; Manchanda et al., 2020

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের প্রয়োগ গবেষণা পেপার যা ই-কমার্স সার্চে গুরুত্বপূর্ণ ব্যবহারিক সমস্যার সমাধান করে। পদ্ধতির উদ্ভাবনী শক্তি শক্তিশালী, পরীক্ষা যাচাইকরণ ব্যাপক, বিশেষত অনলাইন A/B পরীক্ষা প্রকৃত মূল্য প্রমাণ করে। যদিও তাত্ত্বিক বিশ্লেষণ এবং কিছু প্রযুক্তিগত বিবরণে উন্নতির জায়গা রয়েছে, সামগ্রিকভাবে এটি ই-কমার্স NLP ক্ষেত্রে একটি গুরুত্বপূর্ণ অবদান।