2025-11-22T04:49:16.383386

Getting Your Indices in a Row: Full-Text Search for LLM Training Data for Real World

Marinas, Kucherenko, Sternfeld et al.

The performance of Large Language Models (LLMs) is determined by their training data. Despite the proliferation of open-weight LLMs, access to LLM training data has remained limited. Even for fully open LLMs, the scale of the data makes it all but inscrutable to the general scientific community, despite potentially containing critical data scraped from the internet. In this paper, we present the full-text indexing pipeline for the Apertus LLM training data. Leveraging Elasticsearch parallel indices and the Alps infrastructure, a state-of-the-art, highly energy-efficient arm64 supercluster, we were able to index 8.6T tokens out of 15.2T used to train the Apertus LLM family, creating both a critical LLM safety tool and effectively an offline, curated, open web search engine. Our contribution is threefold. First, we demonstrate that Elasticsearch can be successfully ported onto next-generation arm64-based infrastructure. Second, we demonstrate that full-text indexing at the scale of modern LLM training datasets and the entire open web is feasible and accessible. Finally, we demonstrate that such indices can be used to ensure previously inaccessible jailbreak-agnostic LLM safety. We hope that our findings will be useful to other teams attempting large-scale data indexing and facilitate the general transition towards greener computation.

academic

আপনার সূচকগুলি সারিবদ্ধ করা: বাস্তব বিশ্বের জন্য LLM প্রশিক্ষণ ডেটার সম্পূর্ণ-পাঠ্য অনুসন্ধান

মৌলিক তথ্য

পেপার আইডি: 2510.09471
শিরোনাম: Getting Your Indices in a Row: Full-Text Search for LLM Training Data for Real World
লেখক: Inés Altemir Mariñas (EPFL), Anastasiia Kucherenko (HES-SO Valais-Wallis), Alexander Sternfeld (HES-SO Valais-Wallis), Andrei Kucharavy (HES-SO Valais-Wallis)
শ্রেণীবিভাগ: cs.CL (কম্পিউটেশনাল ভাষাবিজ্ঞান)
প্রকাশনা সম্মেলন: WWW '26 (The Web Conference 2026)
পেপার লিঙ্ক: https://arxiv.org/abs/2510.09471

সারসংক্ষেপ

বৃহৎ ভাষা মডেল (LLM) এর কর্মক্ষমতা এর প্রশিক্ষণ ডেটার উপর নির্ভর করে। যদিও খোলা ওজনের LLM ক্রমবর্ধমান বৃদ্ধি পাচ্ছে, তবে LLM প্রশিক্ষণ ডেটার অ্যাক্সেস সীমিত থাকে। সম্পূর্ণ খোলা LLM এর জন্যও, ডেটার আকার সাধারণ বৈজ্ঞানিক সম্প্রদায়ের জন্য গভীর বিশ্লেষণ কঠিন করে তোলে, যদিও এতে ইন্টারনেট থেকে স্ক্র্যাপ করা গুরুত্বপূর্ণ ডেটা থাকতে পারে। এই পেপারটি Apertus LLM প্রশিক্ষণ ডেটার সম্পূর্ণ-পাঠ্য সূচকীকরণ পাইপলাইন প্রদর্শন করে। Elasticsearch সমান্তরাল সূচকীকরণ এবং Alps অবকাঠামো (একটি অত্যাধুনিক উচ্চ-শক্তি-দক্ষ arm64 সুপারক্লাস্টার) ব্যবহার করে, Apertus LLM পরিবার প্রশিক্ষণের জন্য ব্যবহৃত 15.2T টোকেনের মধ্যে 8.6T টোকেন সফলভাবে সূচীভুক্ত করা হয়েছে, একটি গুরুত্বপূর্ণ LLM নিরাপত্তা সরঞ্জাম এবং অফলাইন, কিউরেটেড খোলা ওয়েব অনুসন্ধান ইঞ্জিন তৈরি করেছে।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

প্রশিক্ষণ ডেটা স্বচ্ছতার অভাব: যদিও খোলা ওজনের LLM ক্রমবর্ধমান জনপ্রিয়, তবে প্রশিক্ষণ ডেটা অ্যাক্সেস এবং বিশ্লেষণ করা কঠিন থাকে
ডেটা স্কেল চ্যালেঞ্জ: আধুনিক LLM প্রশিক্ষণ ডেটা বিশাল আকারের (ট্রিলিয়ন-স্তরের টোকেন), যা সিস্টেমেটিক পরীক্ষা প্রায় অসম্ভব করে তোলে
নিরাপত্তা ঝুঁকি: প্রশিক্ষণ ডেটায় ক্ষতিকারক বিষয়বস্তু থাকতে পারে, যেমন ব্যক্তিগত তথ্য, কপিরাইট উপাদান, বিষাক্ত ভাষা, এমনকি বিপজ্জনক তথ্য

গবেষণার গুরুত্ব

LLM নিরাপত্তা: প্রশিক্ষণ ডেটার সমস্যাযুক্ত বিষয়বস্তু সরাসরি মডেল আচরণকে প্রভাবিত করে, ক্ষতিকারক আউটপুট তৈরি করে
স্বচ্ছতার প্রয়োজনীয়তা: বৈজ্ঞানিক সম্প্রদায় এবং নিয়ন্ত্রক সংস্থাগুলি LLM প্রশিক্ষণ ডেটা পর্যালোচনা করতে সক্ষম হতে প্রয়োজন
সম্মতির প্রয়োজনীয়তা: কপিরাইট বিষয়বস্তু, ব্যক্তিগত তথ্য ইত্যাদি চিহ্নিত এবং সরানোর প্রয়োজন

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

নমুনা বিশ্লেষণ: বিদ্যমান সরঞ্জামগুলি প্রধানত ছোট নমুনার উপর ভিত্তি করে (যেমন Common Crawl এর 1%), সম্পূর্ণ কভারেজ নিশ্চিত করতে পারে না
স্কেল সীমাবদ্ধতা: আগের সবচেয়ে বড় সম্পূর্ণ-পাঠ্য সূচক (Infinigram) শুধুমাত্র 4.6T টোকেন সমর্থন করে এবং শুধুমাত্র সঠিক ম্যাচিং সমর্থন করে
কার্যকারিতা সীমাবদ্ধতা: অস্পষ্ট অনুসন্ধান এবং যুক্তিসঙ্গত অপারেশন ক্ষমতার অভাব

মূল অবদান

ARM64 আর্কিটেকচার মাইগ্রেশন: ARM64-ভিত্তিক GH200 HPC সিস্টেমে Elasticsearch এর সফল স্থাপনা প্রথমবার প্রদর্শন করা
বড় আকারের সূচকীকরণ বাস্তবায়ন: 8.6T টোকেন ডেটাসেট সূচীভুক্ত করা, যা আগের Elasticsearch-ভিত্তিক সূচকের 4 গুণ এবং সামগ্রিক আকারের 2 গুণ
LLM নিরাপত্তা প্রয়োগ: সম্পূর্ণ-পাঠ্য সূচকীকরণের LLM নিরাপত্তা এবং সুরক্ষা ব্যবহারের ক্ষেত্রে প্রদর্শন, জেইলব্রেক ছাড়াই নিরাপত্তা প্রদান করা
ওপেন সোর্স অবদান: সম্পূর্ণ ওপেন সোর্স কোড এবং কর্মক্ষমতা বেঞ্চমার্ক প্রদান করা, ভবিষ্যত গবেষণা সমর্থন করা

পদ্ধতির বিস্তারিত বিবরণ

কাজের সংজ্ঞা

ট্রিলিয়ন-স্তরের টোকেনের LLM প্রশিক্ষণ ডেটায় সম্পূর্ণ-পাঠ্য অনুসন্ধান সক্ষম একটি সিস্টেম তৈরি করা, যা সমর্থন করে:

সঠিক এবং অস্পষ্ট ম্যাচিং
বহুভাষিক বিষয়বস্তু অনুসন্ধান
যুক্তিসঙ্গত অপারেশন এবং জটিল প্রশ্ন
রিয়েল-টাইম অনুসন্ধান প্রতিক্রিয়া

সিস্টেম আর্কিটেকচার

1. ডেটা প্রক্রিয়াকরণ পাইপলাইন

কাঁচা Parquet ফাইল → স্ট্রিম প্রসেসিং → পাঠ্য বিশ্লেষণ → Elasticsearch সূচক

2. মূল উপাদান

Elasticsearch ইঞ্জিন: বিতরণকৃত অনুসন্ধান এবং বিশ্লেষণ ইঞ্জিন
সমান্তরাল সূচকীকরণ: elasticsearch.helpers.parallel_bulk ব্যবহার করে মাল্টি-থ্রেড সমসাময়িক প্রক্রিয়াকরণ বাস্তবায়ন
পাঠ্য বিশ্লেষক: web_content_analyzer HTML পরিষ্কার, মান টোকেনাইজেশন, ছোট হাতের অক্ষর, ASCII ফোল্ডিং সম্পাদন করে

3. মূল প্যারামিটার টিউনিং

থ্রেড সংখ্যা: CPU কোর সংখ্যা অতিক্রম করবেন না, সমসাময়িকতা এবং মেমরি চাপের ভারসাম্য রাখুন
খণ্ড আকার: সূত্র দ্বারা নির্ধারিত chunk_size ≤ max_chunk_size / avg_doc_size
সর্বাধিক খণ্ড বাইট: বাল্ক অনুরোধের সর্বাধিক পেলোড নিয়ন্ত্রণ করুন
সারি আকার: প্রযোজক এবং ভোক্তা থ্রেডের মধ্যে অসামঞ্জস্য বাফার করুন

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

1. ARM64 অভিযোজন

OCI-সামঞ্জস্যপূর্ণ কাস্টম কন্টেইনার ইমেজ তৈরি করা
Docker সামঞ্জস্য সমস্যা সমাধান করা, Podman ব্যবহার করা
SLURM কাজের সংজ্ঞার মাধ্যমে অর্কেস্ট্রেশন পুনরায় বাস্তবায়ন করা

2. HPC পরিবেশ অপ্টিমাইজেশন

কার্নেল প্যারামিটার সীমাবদ্ধতার সাথে খাপ খাইয়ে নিতে মেমরি ম্যাপিং অক্ষম করা
প্রক্সি বাইপাস করে নেটওয়ার্ক কনফিগার করা, 127.0.0.1 এ বাঁধা
SLURM কাজের বিচ্ছিন্নতার সাথে খাপ খাইয়ে নিতে একক-নোড অপারেশন মোড

3. প্রশ্ন অপ্টিমাইজেশন

match_phrase_query: কনফিগারযোগ্য শব্দ দূরত্ব সহনশীলতা সমর্থন করা (SLOP প্যারামিটার)
বহু-স্তরের পাঠ্য প্রক্রিয়াকরণ: HTML পরিষ্কার → মান টোকেনাইজেশন → নিয়মিতকরণ → ASCII ফোল্ডিং

পরীক্ষামূলক সেটআপ

ডেটাসেট

Apertus প্রশিক্ষণ ডেটা সাবসেট (8.6T টোকেন, মোট প্রশিক্ষণ ডেটার 58%):

ডেটাসেট	টোকেন (B)
FineWeb-Edu (Score-2)	4815
FineWeb-2-HQ (33% সর্বোচ্চ গুণমান)	3557
StarCoder	235
FineMath CommonCrawl সাবসেট	32
Gutenberg এবং Poison	2

প্রশ্ন ডেটাসেট

Weaponized Words অভিধান: 137টি ভাষায় ক্ষতিকারক শব্দ
LDNOOBW তালিকা: 28টি ভাষায় অশ্লীল শব্দ
রাসায়নিক অস্ত্র ডেটাসেট: 17টি বিপজ্জনক রাসায়নিক প্রতিকারক পদ

কম্পিউটিং পরিবেশ

Alps সুপারকম্পিউটার: HPE Cray EX সিস্টেম, 434 PFlops কর্মক্ষমতা
নোড কনফিগারেশন: ARM64-ভিত্তিক NVIDIA Grace Hopper GH200
স্টোরেজ সিস্টেম: 100PB ClusterStor HDD + 3PB SSD + 1PB VAST

পরীক্ষামূলক ফলাফল

সূচকীকরণ কর্মক্ষমতা

ডেটাসেট	ডেটা আকার (GB)	সময় (h)	সূচকীকরণ হার (doc/s)	সূচকীকরণ ওভারহেড অনুপাত	শিখর মেমরি (GB)
FineWeb-2 Edu (EN)	12,737	143.7	10,296	1.3	4.9
FineWeb-2 Europe HQ	2,660	408.3	589	1.1	7.5
StarCoder	229	4.2	10,919	1.4	12.7

মূল অনুসন্ধান:

ইংরেজি পাঠ্য সূচকীকরণ গতি বহুভাষিক ডেটাসেটের চেয়ে উল্লেখযোগ্যভাবে দ্রুত (10,297 বনাম 589 doc/s)
কোড ডেটা আরও মেমরি সম্পদ প্রয়োজন (12.7GB বনাম 4.9GB)
বহুভাষিক ডেটাসেট সূচকীকরণ ওভারহেড বেশি

প্রশ্ন কর্মক্ষমতা

প্রশ্ন সময় প্রশ্ন দৈর্ঘ্য বৃদ্ধির সাথে রৈখিকভাবে বৃদ্ধি পায়
একক শব্দ প্রশ্ন: <100ms
300 শব্দ প্রশ্ন: ~1000ms
সিস্টেম বিভিন্ন প্রশ্ন দৈর্ঘ্যে স্থিতিশীল কর্মক্ষমতা বজায় রাখে

ক্ষতিকারক বিষয়বস্তু বিশ্লেষণ

বহুভাষিক ক্ষতিকারক শব্দ পরিসংখ্যান

ভাষা	Weaponized Words (মিলিয়ন)	LDNOOBW (মিলিয়ন)
ইংরেজি	1,245.8	661.6
ফরাসি	16.8	202.5
জার্মান	9.9	14.9
ইতালিয়ান	1.6	18.5

রাসায়নিক অস্ত্র সম্পর্কিত পদ

সাধারণ রাসায়নিক পদার্থ (যেমন গ্লিসারিন, নাইট্রিক অ্যাসিড) অত্যন্ত উচ্চ ফ্রিকোয়েন্সিতে উপস্থিত, যখন বিশেষায়িত রাসায়নিক অস্ত্র সংশ্লেষণ পদ অ-ইংরেজি ভাষায়ও উল্লেখযোগ্য উপস্থিতি দেখায়, বহুভাষিক ডেটা কিউরেশনের গুরুত্ব নির্দেশ করে।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

প্রযুক্তিগত সম্ভাব্যতা: ARM64 আর্কিটেকচারে Elasticsearch স্থাপনের সম্ভাব্যতা প্রমাণ করা
স্কেল অর্জনযোগ্যতা: ট্রিলিয়ন-স্তরের টোকেনের সম্পূর্ণ-পাঠ্য সূচকীকরণ ছোট দলের জন্য অর্জনযোগ্য
নিরাপত্তা প্রয়োগ: সম্পূর্ণ-পাঠ্য সূচকীকরণ LLM প্রশিক্ষণ ডেটার গভীর নিরাপত্তা বিশ্লেষণের জন্য ব্যবহার করা যায়

সীমাবদ্ধতা

কভারেজ পরিসীমা: শুধুমাত্র Apertus প্রশিক্ষণ ডেটার 58% সূচীভুক্ত করা
আর্কিটেকচার সীমাবদ্ধতা: ARM64 অভিযোজন এখনও সামঞ্জস্য চ্যালেঞ্জের সম্মুখীন
মেমরি ম্যাপিং: মেমরি ম্যাপিং ব্যবহার করতে পারে না I/O দক্ষতা হ্রাস করে

ভবিষ্যত দিকনির্দেশনা

সম্পূর্ণ ইন্টারনেট সূচকীকরণ: সম্পূর্ণ খোলা ওয়েবের অফলাইন অনুসন্ধান সূচক তৈরি করা
LLM তথ্য ভিত্তি: অফলাইন অনুসন্ধানের উপর ভিত্তি করে LLM উৎপাদিত বিষয়বস্তু যাচাইকরণ
অর্থনৈতিক নৈতিক সমস্যা: বিষয়বস্তু নির্মাতাদের ন্যায্য ক্ষতিপূরণ প্রক্রিয়া

গভীর মূল্যায়ন

শক্তি

উচ্চ ব্যবহারিক মূল্য: LLM প্রশিক্ষণ ডেটা স্বচ্ছতার গুরুত্বপূর্ণ সমস্যা সমাধান করা
উল্লেখযোগ্য প্রযুক্তিগত অবদান: ট্রিলিয়ন-স্তরের টোকেনের Elasticsearch সূচকীকরণ প্রথমবার বাস্তবায়ন করা
ওপেন সোর্স বান্ধব: সম্পূর্ণ কোড এবং বিস্তারিত স্থাপনা নির্দেশিকা প্রদান করা
স্পষ্ট নিরাপত্তা প্রয়োগ: নির্দিষ্ট LLM নিরাপত্তা ব্যবহারের ক্ষেত্র প্রদর্শন করা
পরিবেশ বান্ধব: উচ্চ-শক্তি-দক্ষ ARM64 আর্কিটেকচার ব্যবহার করা, মাত্র 90kg CO2eq কার্বন নির্গমন

অপূর্ণতা

ডেটা কভারেজ অসম্পূর্ণ: সমস্ত প্রশিক্ষণ ডেটা সূচীভুক্ত করা হয়নি
ARM64 চ্যালেঞ্জ: প্রযুক্তিগত অভিযোজন প্রক্রিয়া জটিল, প্রচারকে প্রভাবিত করতে পারে
কর্মক্ষমতা ট্রেড-অফ: HPC পরিবেশের সাথে খাপ খাইয়ে নিতে কিছু I/O কর্মক্ষমতা ত্যাগ করা
নিরাপত্তা বিশ্লেষণ গভীরতা: ক্ষতিকারক বিষয়বস্তুর বিশ্লেষণ তুলনামূলকভাবে পৃষ্ঠীয়

প্রভাব

একাডেমিক অবদান: LLM প্রশিক্ষণ ডেটা বিশ্লেষণের জন্য নতুন প্রযুক্তিগত পথ প্রদান করা
ব্যবহারিক মূল্য: সরাসরি LLM নিরাপত্তা অডিটে প্রয়োগ করা যায়
প্রযুক্তি প্রচার: এন্টারপ্রাইজ অ্যাপ্লিকেশনে ARM64 গ্রহণ প্রচার করা
নীতি সমর্থন: LLM নিয়ন্ত্রণের জন্য প্রযুক্তিগত সরঞ্জাম প্রদান করা

প্রযোজ্য দৃশ্যকল্প

LLM উন্নয়ন দল: প্রশিক্ষণ ডেটা গুণমান নিয়ন্ত্রণ এবং নিরাপত্তা অডিট
গবেষণা প্রতিষ্ঠান: বড় আকারের পাঠ্য ডেটা বিশ্লেষণ এবং খনন
নিয়ন্ত্রক সংস্থা: LLM সম্মতি পরীক্ষা এবং ঝুঁকি মূল্যায়ন
এন্টারপ্রাইজ প্রয়োগ: বিষয়বস্তু ফিল্টারিং এবং ডেটা গভর্নেন্স

সংদর্ভ

পেপারটি 60টি সম্পর্কিত সাহিত্য উদ্ধৃত করে, যা LLM প্রশিক্ষণ, ডেটা নিরাপত্তা, সম্পূর্ণ-পাঠ্য অনুসন্ধান এবং অন্যান্য একাধিক ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য একটি দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি একটি গুরুত্বপূর্ণ ব্যবহারিক মূল্যের প্রযুক্তিগত পেপার, যা LLM প্রশিক্ষণ ডেটা স্বচ্ছতা এবং নিরাপত্তা বিশ্লেষণের মূল সমস্যা সফলভাবে সমাধান করে। যদিও ডেটা কভারেজ এবং প্রযুক্তিগত অভিযোজনের ক্ষেত্রে কিছু সীমাবদ্ধতা রয়েছে, তবে এর অগ্রণী কাজ এই ক্ষেত্রের জন্য গুরুত্বপূর্ণ প্রযুক্তিগত ভিত্তি এবং ব্যবহারিক নির্দেশিকা প্রদান করে।