2025-11-24T21:52:17.543196

Instruction Set Migration at Warehouse Scale

Christopher, Crossan, Dobson et al.

Migrating codebases from one instruction set architecture (ISA) to another is a major engineering challenge. A recent example is the adoption of Arm (in addition to x86) across the major Cloud hyperscalers. Yet, this problem has seen limited attention by the academic community. Most work has focused on static and dynamic binary translation, and the traditional conventional wisdom has been that this is the primary challenge. In this paper, we show that this is no longer the case. Modern ISA migrations can often build on a robust open-source ecosystem, making it possible to recompile all relevant software from scratch. This introduces a new and multifaceted set of challenges, which are different from binary translation. By analyzing a large-scale migration from x86 to Arm at Google, spanning almost 40,000 code commits, we derive a taxonomy of tasks involved in ISA migration. We show how Google automated many of the steps involved, and demonstrate how AI can play a major role in automatically addressing these tasks. We identify tasks that remain challenging and highlight research challenges that warrant further attention.

academic

वेयरहाउस स्केल पर निर्देश सेट माइग्रेशन

बुनियादी जानकारी

पेपर ID: 2510.14928
शीर्षक: वेयरहाउस स्केल पर निर्देश सेट माइग्रेशन
लेखक: एरिक क्रिस्टोफर, केविन क्रॉसन, वोल्फ डॉबसन, क्रिस केनेली, ड्रू लुईस, कुन लिन, मार्टिन मास, पार्थसारथी रंगनाथन, एम्मा रापाती, ब्रायन यांग (गूगल, यूएसए)
वर्गीकरण: cs.SE (सॉफ्टवेयर इंजीनियरिंग), cs.LG (मशीन लर्निंग)
प्रकाशन समय: 16 अक्टूबर 2025 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.14928

सारांश

यह पेपर गूगल द्वारा x86 से Arm में किए गए बड़े पैमाने के ISA माइग्रेशन (लगभग 40,000 कोड कमिट शामिल) का विश्लेषण करके निर्देश सेट आर्किटेक्चर माइग्रेशन के बारे में पारंपरिक विचारों को चुनौती देता है। अनुसंधान से पता चलता है कि आधुनिक ISA माइग्रेशन की मुख्य चुनौती अब कोड अनुवाद नहीं है, बल्कि कई पहलुओं वाले इंजीनियरिंग कार्यों की एक श्रृंखला है। पेपर ISA माइग्रेशन कार्यों का वर्गीकरण प्रस्तुत करता है, दिखाता है कि गूगल कैसे कई माइग्रेशन चरणों को स्वचालित करता है, और इन कार्यों को स्वचालित करने में कृत्रिम बुद्धिमत्ता की महत्वपूर्ण भूमिका को प्रमाणित करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

मुख्य समस्या: बड़े पैमाने के कोडबेस का निर्देश सेट आर्किटेक्चर माइग्रेशन एक महत्वपूर्ण इंजीनियरिंग चुनौती है, लेकिन शिक्षा जगत में इस पर सीमित ध्यान दिया गया है
व्यावहारिक आवश्यकता: प्रमुख क्लाउड सेवा प्रदाता (अमेज़न, गूगल, माइक्रोसॉफ्ट) x86 को पूरक करने के लिए Arm आर्किटेक्चर अपना रहे हैं, जिन्हें व्यवस्थित माइग्रेशन पद्धति की आवश्यकता है
पारंपरिक दृष्टिकोण की सीमा: पिछले अनुसंधान मुख्य रूप से स्थिर और गतिशील बाइनरी अनुवाद पर केंद्रित थे, यह मानते हुए कि यह ISA माइग्रेशन की मुख्य चुनौती है

अनुसंधान प्रेरणा

तकनीकी वातावरण परिवर्तन: आधुनिक ISA को अपस्ट्रीम कंपाइलर, रनटाइम लाइब्रेरी और Linux कर्नेल में अच्छी तरह से समर्थित किया जाता है, जिससे स्रोत कोड से पुनः संकलन संभव हो जाता है
व्यावहारिक अनुभव की कमी: आधुनिक ISA माइग्रेशन में वास्तव में शामिल कार्यों का व्यवस्थित विश्लेषण नहीं है
स्वचालन का अवसर: आधुनिक सॉफ्टवेयर इंजीनियरिंग उपकरण और कृत्रिम बुद्धिमत्ता तकनीक माइग्रेशन को स्वचालित करने के लिए नई संभावनाएं प्रदान करती हैं

मुख्य योगदान

पहला व्यवस्थित विश्लेषण: 38,156 वास्तविक कमिट के आधार पर बड़े पैमाने के ISA माइग्रेशन कार्यों का पहला विस्तृत विघटन और वर्गीकरण प्रदान करता है
पारंपरिक ज्ञान को चुनौती: साबित करता है कि ISA माइग्रेशन की जटिलता कोड अनुवाद में नहीं है, बल्कि मुख्य रूप से बिल्ड और कॉन्फ़िगरेशन फ़ाइलों के पुनर्लेखन में है
स्वचालन ढांचा: दिखाता है कि कई माइग्रेशन कार्य अत्यधिक स्वचालित हैं, और CogniPort नामक एक कृत्रिम बुद्धिमत्ता-संचालित स्वचालन उपकरण विकसित करता है
व्यावहारिक मार्गदर्शन: अभी भी चुनौतीपूर्ण कार्यों की पहचान करता है, भविष्य के अनुसंधान दिशाओं के लिए मार्गदर्शन प्रदान करता है

विधि विवरण

कार्य परिभाषा

इस पेपर में अनुसंधान का मुख्य कार्य है: बहु-अरब पंक्तियों वाले कोडबेस को x86 आर्किटेक्चर से x86 और Arm दोनों को समर्थन करने वाले बहु-आर्किटेक्चर वातावरण में माइग्रेट करना

इनपुट: एकल-आर्किटेक्चर (x86) का बड़े पैमाने का कोडबेस आउटपुट: बहु-आर्किटेक्चर (x86+Arm) को समर्थन करने वाला कोडबेस बाधाएं: प्रदर्शन, सुरक्षा और स्थिरता की समानता बनाए रखना

विश्लेषण विधि आर्किटेक्चर

1. डेटा संग्रह और एनोटेशन

डेटा स्रोत: गूगल के एकल कोड रिपॉजिटरी में 38,156 Arm माइग्रेशन से संबंधित कमिट
स्वचालित वर्गीकरण: बड़े पैमाने पर कमिट विश्लेषण के लिए Gemini 2.5 Flash LLM का उपयोग
वर्गीकरण प्रक्रिया:
1. कमिट संदेश और कोड अंतर को LLM के 1M टोकन संदर्भ विंडो में पास करना
2. प्रत्येक बैच में 100 कमिट, मॉडल को 20 श्रेणियां चुनने दें
3. 400×20 श्रेणियों को 50 में एकीकृत करना, अंत में 16 श्रेणियों में हाथ से परिष्कृत करना

2. माइग्रेशन जीवन चक्र मॉडल

पांच-चरणीय माइग्रेशन प्रक्रिया को परिभाषित करता है:

परीक्षण चरण: नई ISA पर विफल होने वाले परीक्षण और बिल्ड को ठीक करना
बहु-आर्किटेक्चर CI सेटअप: Blueprint फ़ाइलों को संशोधित करके कोई प्रतिगमन नहीं सुनिश्चित करना
रिलीज़ कॉन्फ़िगरेशन: Blueprint फ़ाइलों को संशोधित करके रिलीज़ डिफ़ॉल्ट रूप से बहु-आर्किटेक्चर का समर्थन करे
नई बाइनरी फ़ाइलें तैनात करना: नई ISA मशीनों पर चलाना और प्रदर्शन स्थिरता का मूल्यांकन करना
पूर्ण उत्पादन: उत्पादन कार्यों को नई ISA मशीनों पर शेड्यूल करने की अनुमति देना

तकनीकी नवाचार बिंदु

1. LLM-आधारित बड़े पैमाने पर कोड विश्लेषण

दसियों हजार कोड कमिट का विश्लेषण करने के लिए बड़ी भाषा मॉडल का नवीन उपयोग
ISA माइग्रेशन कार्यों का व्यवस्थित वर्गीकरण (17 श्रेणियां) स्थापित करना

2. बहु-स्तरीय स्वचालन ढांचा

बड़े पैमाने पर परिवर्तन (LSC): Rosie उपकरण के माध्यम से बड़े पैमाने पर स्वचालित कोड संशोधन
CHAMP सिस्टम: निरंतर स्वास्थ्य निगरानी मंच, Arm बिल्ड अनुप्रयोगों के व्यवहार अंतर का स्वचालित मूल्यांकन
CogniPort AI एजेंट: तीन-स्तरीय नेस्टेड एजेंट लूप, बिल्ड और परीक्षण त्रुटियों को स्वचालित रूप से ठीक करना

3. कृत्रिम बुद्धिमत्ता-संचालित मरम्मत एजेंट

CogniPort में तीन नेस्टेड एजेंट लूप शामिल हैं:

ऑर्केस्ट्रेटर एजेंट: कार्यक्षेत्र की स्थिति के अनुसार बिल्ड/परीक्षण मरम्मत एजेंट को कॉल करना
बिल्ड मरम्मत एजेंट: लक्ष्य बनाने का प्रयास करना और सफलता तक फ़ाइलें संशोधित करना
परीक्षण मरम्मत एजेंट: परीक्षण चलाना और पास होने तक कोड संशोधित करना

प्रायोगिक सेटअप

डेटासेट विशेषताएं

पैमाना: 38,156 कमिट, लगभग 700K पंक्तियों का कोड परिवर्तन
समय अवधि: माइग्रेशन प्रक्रिया के कई वर्ष
कवरेज: गूगल के आंतरिक अरबों पंक्तियों के कोड का प्रतिनिधि उपसमूह

मूल्यांकन मेट्रिक्स

स्वचालन की डिग्री: प्रत्येक श्रेणी में स्वचालित रूप से उत्पन्न कमिट और कोड पंक्तियों का अनुपात
AI मरम्मत सफलता दर: 245 परीक्षण कमिट पर CogniPort की मरम्मत सफलता दर
माइग्रेशन प्रभाव: आवेदन योग्यता दर 4.8% से 59.6% तक बढ़ी, रोलबैक दर 1.8% से नीचे नियंत्रित

प्रायोगिक विधि

ऐतिहासिक कमिट विश्लेषण: ऐतिहासिक कमिट को पुनः प्राप्त करना और AI एजेंट की मरम्मत क्षमता का मूल्यांकन करना
वर्गीकरण सटीकता सत्यापन: मॉडल आउटपुट की सटीकता सुनिश्चित करने के लिए हाथ से जांच करना
स्वचालन प्रभाव मूल्यांकन: LSC और CHAMP सिस्टम के स्वचालन कवरेज के आंकड़े

प्रायोगिक परिणाम

मुख्य निष्कर्ष

1. कार्य वितरण विश्लेषण (चित्र 1)

बिल्ड कॉन्फ़िगरेशन प्रमुख: 84% कमिट बिल्ड, पैकेजिंग और CI/CD कॉन्फ़िगरेशन से संबंधित हैं (श्रेणी 8)
कोड संशोधन न्यूनतम: कोड अनुकूलन और सुधार (श्रेणी 1-5) केवल 1% कमिट और 4% से कम कोड पंक्तियों का प्रतिनिधित्व करते हैं
परीक्षण अनुकूलन महत्वपूर्ण: परीक्षण संबंधित संशोधन (श्रेणी 6-7) काफी अनुपात पर कब्जा करते हैं

2. समय विकास पैटर्न (चित्र 3)

प्रारंभिक चरण: मुख्य रूप से उपकरण विकास और परीक्षण अनुकूलन
मध्य चरण: कोड अनुकूलन कमिट का अनुपात बढ़ता है
बाद का चरण: लगभग पूरी तरह से कॉन्फ़िगरेशन फ़ाइलें और समर्थन प्रक्रियाएं, कमिट की मात्रा तेजी से बढ़ती है

3. स्वचालन प्रभावशीलता

समग्र स्वचालन दर: 83.82% कमिट और 14.15% कोड पंक्तियां स्वचालित हैं
LSC उत्पन्न कमिट: 31,984 कमिट Rosie द्वारा स्वचालित रूप से उत्पन्न
आवेदन योग्यता दर में वृद्धि: 4.8% से 59.6% तक
कम रोलबैक दर: अंतिम चरण में रोलबैक दर 0.8% से नीचे

AI एजेंट प्रदर्शन (चित्र 4)

245 परीक्षण कमिट पर CogniPort का प्रदर्शन:

समग्र सफलता दर: 30%
सर्वश्रेष्ठ श्रेणियां: परीक्षण मरम्मत, प्लेटफॉर्म-विशिष्ट शर्त कोड, डेटा प्रतिनिधित्व मरम्मत
कठिन श्रेणियां: मेमोरी मॉडल, परीक्षण निष्पादन वातावरण, प्रदर्शन अनुकूलन

वर्गीकरण स्वचालन संभावना (चित्र 5)

AI द्वारा मूल्यांकित स्वचालन कठिनाई (1=सरल, 5=कठिन):

उच्च स्वचालन योग्य: बिल्ड कॉन्फ़िगरेशन फ़ाइलें, परीक्षण निष्पादन वातावरण
मध्यम कठिनाई: कोड और परीक्षण अनुकूलन (श्रेणी 1-7)
अभी भी मानव की आवश्यकता: जटिल प्रदर्शन अनुकूलन, विशेष सेवा कॉन्फ़िगरेशन

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

पारंपरिक दृष्टिकोण को चुनौती: ISA माइग्रेशन की जटिलता कोड अनुवाद में नहीं है, बल्कि कई पहलुओं वाले इंजीनियरिंग कार्यों में है
उच्च स्वचालन योग्य: अधिकांश माइग्रेशन कार्य आधुनिक उपकरणों के माध्यम से स्वचालित किए जा सकते हैं
एक बार के काम का मूल्य: कई कार्य पहले बहु-आर्किटेक्चर माइग्रेशन के बाद पुनः उपयोग किए जा सकते हैं
कृत्रिम बुद्धिमत्ता की विशाल क्षमता: आधुनिक कृत्रिम बुद्धिमत्ता कई शेष मैनुअल कार्यों को संभाल सकती है

सीमाएं

मूल्यांकन विधि सीमाएं: AI एजेंट मूल्यांकन में सूचना रिसाव या अधूरी परीक्षा हो सकती है
गूगल-विशिष्ट वातावरण: निष्कर्ष अन्य संगठनों के सॉफ्टवेयर वातावरण पर पूरी तरह लागू नहीं हो सकते हैं
Arm विशिष्टता: अनुसंधान x86 से Arm माइग्रेशन पर केंद्रित है, अन्य ISA माइग्रेशन में अलग चुनौतियां हो सकती हैं

भविष्य की दिशाएं

अभी भी कठिन कार्य

ISA-विशिष्ट वेक्टर कोड: जटिल प्रदर्शन अनुकूलन खोज स्थान की आवश्यकता
गहन प्रदर्शन अनुकूलन: एल्गोरिदम-स्तरीय पुनर्संरचना और आंतरिक कार्य उपयोग की आवश्यकता
जटिल सीमांत मामले: कोड से परे विशेषज्ञता की आवश्यकता
प्रदर्शन ट्यूनिंग: हाइपरपैरामीटर पुनः उत्पन्न करने और प्रतिक्रिया-निर्देशित अनुकूलन कॉन्फ़िगरेशन की आवश्यकता

अनुसंधान अवसर

AI एजेंट क्षमता बढ़ाना: दस्तावेज़ खोज, प्रदर्शन माप का समर्थन करने वाले अधिक शक्तिशाली एजेंट
वेक्टरकरण स्वचालन: उच्च-प्रदर्शन ISA-विशिष्ट वेक्टर कोड स्वचालित रूप से उत्पन्न करना
बहु-आर्किटेक्चर टूलचेन: बहु-आर्किटेक्चर समर्थन उपकरणों में स्वचालन में सुधार

गहन मूल्यांकन

शक्तियां

व्यावहारिक मूल्य अत्यधिक: वास्तविक औद्योगिक-स्तरीय बड़े पैमाने पर माइग्रेशन अनुभव पर आधारित, बहुत मजबूत मार्गदर्शन मूल्य
पद्धति नवाचार: पहली बार ISA माइग्रेशन कार्यों का व्यवस्थित विश्लेषण और वर्गीकरण, इस क्षेत्र के लिए आधार ढांचा स्थापित करता है
डेटा पैमाना विशाल: 38,156 कमिट का विश्लेषण पैमाना सॉफ्टवेयर इंजीनियरिंग अनुसंधान में अत्यंत दुर्लभ है
तकनीकी दूरदर्शिता: बड़े पैमाने पर सॉफ्टवेयर इंजीनियरिंग कार्यों में कृत्रिम बुद्धिमत्ता के व्यावहारिक अनुप्रयोग की संभावना प्रदर्शित करता है
परिणाम प्रतिकूल-सहज: क्षेत्र में पारंपरिक ज्ञान को चुनौती देता है, महत्वपूर्ण शैक्षणिक मूल्य रखता है

कमियां

वातावरण विशिष्टता: अनुसंधान गूगल के विशिष्ट सॉफ्टवेयर वातावरण पर आधारित है, सामान्यीकरण क्षमता सीमित हो सकती है
मूल्यांकन विधि सीमाएं: AI एजेंट मूल्यांकन में पूर्वाग्रह हो सकता है, अधिक कठोर बेंचमार्क परीक्षण की आवश्यकता है
लागत विश्लेषण अनुपस्थित: माइग्रेशन लागत (मानव, समय, संसाधन) का मात्रात्मक विश्लेषण नहीं है
दीर्घकालीन रखरखाव विचार अपर्याप्त: बहु-आर्किटेक्चर कोडबेस के दीर्घकालीन रखरखाव लागत का विश्लेषण कम है

प्रभाव

शैक्षणिक प्रभाव: सॉफ्टवेयर इंजीनियरिंग और सिस्टम आर्किटेक्चर क्षेत्र के लिए नई अनुसंधान दिशाएं प्रदान करता है
औद्योगिक मूल्य: अन्य संगठनों को ISA माइग्रेशन करने के लिए व्यावहारिक पद्धति और उपकरण संदर्भ प्रदान करता है
तकनीकी प्रेरणा: सॉफ्टवेयर इंजीनियरिंग में कृत्रिम बुद्धिमत्ता के अनुप्रयोग विकास को आगे बढ़ाता है
मानक स्थापना: ISA माइग्रेशन क्षेत्र में महत्वपूर्ण संदर्भ मानक बन सकता है

लागू परिदृश्य

बड़ी तकनीकी कंपनियां: बड़े पैमाने के कोडबेस वाली संगठनें जिन्हें आर्किटेक्चर माइग्रेशन करने की आवश्यकता है
क्लाउड सेवा प्रदाता: लागत अनुकूलन और प्रदर्शन के लिए कई हार्डवेयर आर्किटेक्चर का समर्थन करने की आवश्यकता वाली संगठनें
ओपन सोर्स प्रोजेक्ट रखरखाव: आर्किटेक्चर समर्थन विस्तारित करने की आवश्यकता वाली बड़ी ओपन सोर्स परियोजनाएं
अनुसंधान संस्थान: सॉफ्टवेयर इंजीनियरिंग स्वचालन और कृत्रिम बुद्धिमत्ता अनुप्रयोग का अनुसंधान करने वाली शैक्षणिक टीमें

संदर्भ

पेपर 27 महत्वपूर्ण संदर्भों का हवाला देता है, जिसमें शामिल हैं:

बाइनरी अनुवाद तकनीकें (Altman et al., 2000; Gouicem et al., 2022)
बड़े पैमाने पर सॉफ्टवेयर इंजीनियरिंग (Potvin & Levenberg, 2016; Winters et al., 2020)
कोड स्वचालित मरम्मत (Bader et al., 2019; Lin et al., 2025)
सिस्टम आर्किटेक्चर (Verma et al., 2015; Corbett et al., 2012)

सारांश: यह एक महत्वपूर्ण व्यावहारिक मूल्य और शैक्षणिक मूल्य वाला पेपर है, जो पहली बार आधुनिक बड़े पैमाने पर ISA माइग्रेशन की वास्तविक चुनौतियों और समाधानों का व्यवस्थित विश्लेषण करता है। पेपर न केवल पारंपरिक दृष्टिकोण को चुनौती देता है, बल्कि सॉफ्टवेयर इंजीनियरिंग में कृत्रिम बुद्धिमत्ता तकनीक की विशाल क्षमता को भी प्रदर्शित करता है, इस क्षेत्र के भविष्य विकास के लिए महत्वपूर्ण मार्गदर्शन प्रदान करता है।