2025-11-21T23:25:16.078828

Translution: Unifying Self-attention and Convolution for Adaptive and Relative Modeling

Fan, Yang, Kankanhalli et al.

When modeling a given type of data, we consider it to involve two key aspects: 1) identifying relevant elements (e.g., image pixels or textual words) to a central element, as in a convolutional receptive field, or to a query element, as in self-attention, and 2) encoding these tokens effectively. Self-attention can adaptively identify these elements but relies on absolute positional embedding for structural representation learning. In contrast, convolution encodes elements in a relative manner, yet their fixed kernel size limits their ability to adaptively select the relevant elements. In this paper, we introduce Translution, an operation that unifies the adaptive identification capability of self-attention and the relative encoding advantage of convolution. However, this integration leads to a substantial increase in the number of parameters, exceeding most currently available computational resources. Therefore, we propose a lightweight variant of Translution, named Î±-Translution. Experiments on computer vision and natural language processing tasks show that Translution (including Î±-Translution) achieves superior accuracy compared to self-attention. The code is available at https://github.com/hehefan/Translution.

academic

Translution: आत्म-ध्यान और कनवल्यूशन को अनुकूली और सापेक्ष मॉडलिंग के लिए एकीकृत करना

मूल जानकारी

पेपर ID: 2510.10060
शीर्षक: Translution: आत्म-ध्यान और कनवल्यूशन को अनुकूली और सापेक्ष मॉडलिंग के लिए एकीकृत करना
लेखक: Hehe Fan (झेजियांग विश्वविद्यालय), Yi Yang (झेजियांग विश्वविद्यालय), Mohan Kankanhalli (सिंगापुर राष्ट्रीय विश्वविद्यालय), Fei Wu (झेजियांग विश्वविद्यालय)
वर्गीकरण: cs.LG cs.AI cs.CL cs.CV
प्रकाशन समय: 11 अक्टूबर 2025 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.10060v1

सारांश

डेटा मॉडलिंग में, लेखकों का मानना है कि दो मुख्य पहलू शामिल हैं: 1) केंद्रीय तत्व (जैसे कनवल्यूशन रिसेप्टिव फील्ड) या क्वेरी तत्व (जैसे आत्म-ध्यान) से संबंधित तत्वों की पहचान; 2) इन टोकन को प्रभावी ढंग से एन्कोड करना। आत्म-ध्यान इन तत्वों की पहचान अनुकूली रूप से कर सकता है, लेकिन संरचनात्मक प्रतिनिधित्व सीखने के लिए निरपेक्ष स्थिति एम्बेडिंग पर निर्भर करता है। इसके विपरीत, कनवल्यूशन तत्वों को सापेक्ष तरीके से एन्कोड करता है, लेकिन निश्चित कर्नेल आकार संबंधित तत्वों के अनुकूली चयन की क्षमता को सीमित करता है। यह पेपर Translution ऑपरेशन प्रस्तावित करता है, जो आत्म-ध्यान की अनुकूली पहचान क्षमता और कनवल्यूशन के सापेक्ष एन्कोडिंग लाभों को एकीकृत करता है। हालांकि, यह एकीकरण पैरामीटर संख्या में भारी वृद्धि का कारण बनता है, जो वर्तमान अधिकांश कम्प्यूटेशनल संसाधनों से अधिक है। इसलिए, लेखकों ने हल्के α-Translution वेरिएंट का प्रस्ताव दिया। प्रयोग दिखाते हैं कि Translution कंप्यूटर विजन और प्राकृतिक भाषा प्रसंस्करण कार्यों पर आत्म-ध्यान से बेहतर है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

वर्तमान गहन शिक्षा का मूल चुनौती यह है कि डेटा को प्रभावी ढंग से कैसे मॉडल किया जाए। लेखकों ने डेटा मॉडलिंग को दो मुख्य पहलुओं में विभाजित किया है:

संबंधित तत्वों की पहचान: यह निर्धारित करना कि कौन से डेटा तत्व वर्तमान में संसाधित तत्व से संबंधित हैं
प्रभावी एन्कोडिंग: इन संबंधित तत्वों को प्रभावी प्रतिनिधित्व में एन्कोड करना

मौजूदा विधियों की सीमाएं

कनवल्यूशनल न्यूरल नेटवर्क की सीमाएं:

स्थानीय रिसेप्टिव फील्ड को परिभाषित करने के लिए निश्चित आकार के कर्नेल का उपयोग करते हैं
विशेष रूप से वस्तु सीमाओं या पृष्ठभूमि क्षेत्रों में असंबंधित पिक्सल को शामिल करने से बच नहीं सकते
हालांकि स्थानीय संरचना को सापेक्ष रूप से एन्कोड कर सकते हैं, लेकिन अनुकूलन की कमी है

आत्म-ध्यान तंत्र की सीमाएं:

संबंधित क्षेत्रों की अनुकूली रूप से पहचान कर सकते हैं, पूर्वनिर्धारित स्थानीयता से सीमित नहीं
संरचनात्मक जानकारी को कैप्चर करने के लिए निरपेक्ष स्थिति एम्बेडिंग पर निर्भर करते हैं
जब समान वस्तु विभिन्न स्थानों पर चली जाती है, तो पहचान में कठिनाई हो सकती है

अनुसंधान प्रेरणा

Transformer जैसे मॉडलों के सीधे विस्तार के साथ घटते रिटर्न का सामना करते हुए, AI प्रयोगशालाओं ने देखा कि अगली पीढ़ी के मॉडलों में सुधार की गति अपेक्षा से कम है। डेटा संतृप्ति और वर्तमान स्केलिंग कानून की सीमाओं के तहत, नवीन तंत्रिका नेटवर्क आर्किटेक्चर डिजाइन करना महत्वपूर्ण हो गया है।

मुख्य योगदान

Translution ऑपरेशन प्रस्तावित करना: आत्म-ध्यान की अनुकूली पहचान क्षमता और कनवल्यूशन के सापेक्ष एन्कोडिंग लाभों को एकीकृत करता है
α-Translution हल्के वेरिएंट डिजाइन करना: पैरामीटर संख्या में काफी कमी, विधि को वर्तमान कम्प्यूटेशनल संसाधनों के तहत व्यावहारिक बनाता है
सैद्धांतिक एकीकरण: साबित करता है कि कनवल्यूशन और आत्म-ध्यान को Translution के विशेष मामलों के रूप में देखा जा सकता है
प्रायोगिक सत्यापन: कंप्यूटर विजन और प्राकृतिक भाषा प्रसंस्करण कार्यों पर विधि की प्रभावशीलता को सत्यापित करता है
ओपन सोर्स कार्यान्वयन: समुदाय के उपयोग के लिए पूर्ण कोड कार्यान्वयन प्रदान करता है

विधि विवरण

कार्य परिभाषा

इनपुट डेटा (छवि पैच या पाठ टोकन) दिया गया है, लक्ष्य एक ऑपरेशन सीखना है जो:

क्वेरी तत्व से संबंधित तत्वों की अनुकूली रूप से पहचान कर सकता है
इन तत्वों के संरचनात्मक संबंधों को सापेक्ष तरीके से एन्कोड कर सकता है
प्रभावी आउटपुट प्रतिनिधित्व उत्पन्न कर सकता है

मॉडल आर्किटेक्चर

Translution ऑपरेशन

Translution कनवल्यूशन शैली का दृष्टिकोण अपनाता है, प्रत्येक दूरी और दिशा के लिए विभिन्न पैरामीटर मैट्रिक्स निर्दिष्ट करता है:

सापेक्ष क्वेरी एन्कोडिंग: qi,j = fi · W^q_{δx,δy}, δx = xi - xj, δy = yi - yj
सापेक्ष कुंजी एन्कोडिंग: kj,i = fj · W^k_{-δx,-δy}
सापेक्ष ध्यान: ai,j = (qi,j · k^T_{j,i})/√C', αi,j = e^{ai,j}/∑e^{ai,n}
सापेक्ष मूल्य एन्कोडिंग: vi,j = fj · W^v_{δx,δy}
भारित योग: f'i = ∑αi,j × vi,j

जहां W^q_{δx,δy}, W^k_{δx,δy}, W^v_{δx,δy} ∈ R^{C×C'} संगत विस्थापन (δx,δy) के लिए सीखने योग्य पैरामीटर मैट्रिक्स हैं।

α-Translution हल्का वेरिएंट

चूंकि Translution को (2H-1)×(2W-1)×C×C' पैरामीटर की आवश्यकता है, α-Translution इनपुट और आउटपुट आयामों को कम करके पैरामीटर को कम करता है:

W^q_{δx,δy} ⇒ W^q_1 · W^q_{δx,δy}
W^k_{δx,δy} ⇒ W^k_1 · W^k_{δx,δy}
W^v_{δx,δy} ⇒ W^v_1 · W^v_{δx,δy} · W^v_2

जहां C1 ≪ C, C2 ≪ C'।

तकनीकी नवाचार बिंदु

1. सैद्धांतिक एकीकरण

लेखकों ने साबित किया कि कनवल्यूशन और आत्म-ध्यान Translution के विशेष मामले हैं:

कनवल्यूशन: ध्यान भार रिसेप्टिव फील्ड के भीतर 1 है, बाहर 0 है
आत्म-ध्यान: साझा W^q, W^k, W^v पैरामीटर का उपयोग करता है, दिशा और दूरी एन्कोडिंग को अनदेखा करता है
Translution: दोनों के लाभों को जोड़ता है

2. सापेक्ष स्थिति एन्कोडिंग

मौजूदा विधियों (स्केलर पूर्वाग्रह या वेक्टर जोड़) के विपरीत, Translution विस्थापन-आधारित मैट्रिक्स का उपयोग करता है, जो दिशा और दूरी जानकारी को बेहतर ढंग से कैप्चर कर सकता है।

3. मेमोरी अनुकूलित कार्यान्वयन

α-Translution के लिए मेमोरी-कुशल कार्यान्वयन डिजाइन किया गया है, जो पीक मेमोरी उपयोग को N×N×C' से N×C'+N×N×C2 तक कम करता है।

प्रायोगिक सेटअप

डेटासेट

कंप्यूटर विजन कार्य:

Dynamic MNIST: 84×84 पिक्सल क्षेत्र में संख्याओं के चलने वाले सिंथेटिक डेटासेट
Static MNIST: छवि के केंद्र में निश्चित संख्याओं का नियंत्रण डेटासेट
ImageNet-1K: 1000 श्रेणियों वाला बड़े पैमाने पर छवि वर्गीकरण डेटासेट

प्राकृतिक भाषा प्रसंस्करण कार्य:

OpenWebText: 9 बिलियन प्रशिक्षण टोकन, 4 मिलियन सत्यापन टोकन, 50K शब्दावली

मूल्यांकन मेट्रिक्स

छवि वर्गीकरण: Top-1 और Top-5 सटीकता
भाषा मॉडलिंग: भ्रम (Perplexity)

तुलना विधियां

मानक आत्म-ध्यान (Transformer आधारभूत)
सापेक्ष स्थिति एन्कोडिंग वेरिएंट (Shaw et al., Swin Transformer, ConViT, RoFormer आदि)
निरपेक्ष एन्कोडिंग वेरिएंट (विलोपन अध्ययन के लिए)

कार्यान्वयन विवरण

आर्किटेक्चर कॉन्फ़िगरेशन: गहराई 6-12 परत, एम्बेडिंग आयाम 192-384, ध्यान सिर 3-6
α-Translution डिफ़ॉल्ट संपीड़न आयाम: C1 = C2 = 8
बैच आकार: 256 (ImageNet), 8 (OpenWebText)
सभी प्रशिक्षण शून्य से शुरू, कोई बाहरी पूर्व-प्रशिक्षण नहीं

प्रायोगिक परिणाम

मुख्य परिणाम

Dynamic MNIST प्रयोग

विधि	पैरामीटर	Static→Static	Dynamic→Dynamic	Static→Dynamic
आत्म-ध्यान	2.7M	98.48%	92.64%	18.18%
α-Translution	4.6M	98.48%	97.31%	34.90%
Translution	116.2M	98.60%	97.35%	36.40%

मुख्य खोज: Translution स्थिति परिवर्तन परिदृश्यों में काफी बेहतर प्रदर्शन करता है, सापेक्ष एन्कोडिंग के लाभों को साबित करता है।

ImageNet-1K प्रयोग

ViT-A/56 के उदाहरण के रूप में:

विधि	पैरामीटर	Top-1	Top-5
आत्म-ध्यान	4.7M	46.28%	71.17%
α-Translution	5.3M	48.36%	73.31%
Translution	38.5M	52.41%	76.50%

प्राकृतिक भाषा मॉडलिंग प्रयोग

विधि	पैरामीटर	भ्रम
आत्म-ध्यान	22.0M	60.40
α-Translution	23.7M	57.97
Translution	127.5M	56.26

विलोपन प्रयोग

1. पैरामीटर वृद्धि बनाम सापेक्ष एन्कोडिंग का प्रभाव

प्रयोग दिखाते हैं कि सरल पैरामीटर वृद्धि (निरपेक्ष एन्कोडिंग) प्रदर्शन में सुधार नहीं लाती है, सापेक्ष एन्कोडिंग विधि की प्रभावशीलता को साबित करती है।

2. सापेक्ष एन्कोडिंग आयाम का प्रभाव

C1 और C2 बढ़ने के साथ, α-Translution प्रदर्शन में सुधार होता है, लेकिन पैरामीटर भी बढ़ते हैं, दक्षता-प्रभाव व्यापार-बंद मौजूद है।

3. स्थिति एन्कोडिंग विधि तुलना

विधि	पैरामीटर	Top-1	Top-5
कोई स्थिति एम्बेडिंग नहीं	4.69M	42.49%	67.39%
मानक स्थिति एम्बेडिंग	4.69M	46.28%	71.17%
Swin Transformer	4.69M	46.36%	71.31%
RoFormer	4.69M	46.65%	71.51%
α-Translution	5.33M	48.36%	73.31%
Translution	38.53M	52.41%	76.50%

प्रायोगिक निष्कर्ष

सापेक्ष एन्कोडिंग का महत्व: स्थिति परिवर्तन परिदृश्यों में, सापेक्ष एन्कोडिंग निरपेक्ष एन्कोडिंग से काफी बेहतर है
पैरामीटर दक्षता: α-Translution पैरामीटर में छोटी वृद्धि के साथ महत्वपूर्ण प्रदर्शन सुधार प्राप्त करता है
क्रॉस-मोडल प्रभावशीलता: विधि दृश्य और भाषा कार्यों दोनों पर प्रभावी है
मेमोरी सीमा: वर्तमान GPU मेमोरी बड़े पैमाने पर प्रयोगों को सीमित करता है, बड़े पैमाने पर मूल्यांकन के लिए 2-3TB मेमोरी की आवश्यकता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

Translution आत्म-ध्यान की अनुकूली पहचान क्षमता और कनवल्यूशन के सापेक्ष एन्कोडिंग लाभों को सफलतापूर्वक एकीकृत करता है
α-Translution पैरामीटर दक्षता और प्रदर्शन के बीच अच्छा संतुलन प्रदान करता है
सापेक्ष एन्कोडिंग स्थिति परिवर्तन को संभालते समय निरपेक्ष एन्कोडिंग से काफी बेहतर है
विधि कई कार्यों और मोडल पर सुधार दिखाता है

सीमाएं

कम्प्यूटेशनल संसाधन आवश्यकता: पूर्ण Translution को बड़ी संख्या में पैरामीटर और मेमोरी की आवश्यकता है
मूल्यांकन स्केल सीमा: संसाधन सीमाओं के कारण, मुख्य रूप से छोटे-मध्यम आकार के आर्किटेक्चर पर मूल्यांकन किया गया है
विशिष्ट परिदृश्य अनुकूलन: कुछ सापेक्ष स्थितियां पैरामीटर साझा कर सकती हैं, विशेष रूप से दूर की दूरी पर

भविष्य की दिशाएं

अनुकूलित वेरिएंट अन्वेषण: अधिक कुशल Translution वेरिएंट डिजाइन करना
बहु-मोडल विस्तार: 3D, वीडियो, अणु आदि अन्य मोडल तक विस्तार करना
आर्किटेक्चर डिजाइन: Translution के लिए अधिक प्रभावी विशेष आर्किटेक्चर डिजाइन करना
बड़े पैमाने पर मूल्यांकन: बड़े पैमाने पर ढांचे और डेटासेट पर सत्यापन करना

गहन मूल्यांकन

लाभ

सैद्धांतिक योगदान: कनवल्यूशन और आत्म-ध्यान का एकीकृत दृष्टिकोण प्रदान करता है, सैद्धांतिक रूप से सुरुचिपूर्ण
व्यावहारिक मूल्य: α-Translution संसाधन-सीमित परिस्थितियों में भी प्रदर्शन सुधार लाता है
पर्याप्त प्रयोग: कई कार्यों, डेटासेट और विलोपन अध्ययनों को शामिल करता है
स्पष्ट समस्या: मौजूदा विधियों की मूल सीमाओं को स्पष्ट रूप से पहचानता और समाधान करता है
ओपन सोर्स योगदान: पूर्ण कार्यान्वयन प्रदान करता है, समुदाय अनुसंधान को बढ़ावा देता है

कमियां

संसाधन आवश्यकता: पूर्ण विधि की कम्प्यूटेशनल आवश्यकता व्यावहारिक अनुप्रयोग को सीमित कर सकती है
मूल्यांकन स्केल: संसाधन सीमाओं के कारण, बड़े पैमाने पर मॉडल के मूल्यांकन की कमी
सैद्धांतिक विश्लेषण: विधि के अभिसरण और अनुकूलन विशेषताओं का गहन सैद्धांतिक विश्लेषण नहीं
तुलना निष्पक्षता: Baseline के साथ पैरामीटर मात्रा में अंतर, तुलना निष्पक्षता को प्रभावित कर सकता है

प्रभाव

शैक्षणिक मूल्य: ध्यान तंत्र और कनवल्यूशन के संयोजन के लिए नई सोच प्रदान करता है
व्यावहारिक संभावना: α-Translution की व्यावहारिकता से यह वास्तविक अनुप्रयोगों में अपनाए जाने की संभावना है
प्रेरणा मूल्य: मूल ऑपरेशन एकीकरण पर अधिक अनुसंधान को प्रेरित कर सकता है

लागू परिदृश्य

स्थिति-संवेदनशील कार्य: विशेष रूप से स्थिति परिवर्तन को संभालने की आवश्यकता वाले कार्यों के लिए उपयुक्त
संरचित डेटा: छवि, पाठ आदि में स्थानिक या अनुक्रमिक संरचना वाले डेटा पर अच्छा प्रदर्शन
पर्याप्त संसाधन वातावरण: पूर्ण Translution पर्याप्त कम्प्यूटेशनल संसाधन वाले परिदृश्यों के लिए उपयुक्त
अनुसंधान अन्वेषण: मूल आर्किटेक्चर अनुसंधान के लिए नई दिशा प्रदान करता है

संदर्भ

पेपर गहन शिक्षा क्षेत्र के महत्वपूर्ण कार्यों का हवाला देता है, जिसमें शामिल हैं:

Transformer मूल पेपर (Vaswani et al., 2017)
Vision Transformer (Dosovitskiy et al., 2021)
सापेक्ष स्थिति एन्कोडिंग संबंधित कार्य (Shaw et al., 2018; Liu et al., 2021 आदि)
कनवल्यूशनल न्यूरल नेटवर्क क्लासिक कार्य (LeCun et al., 1998; He et al., 2016 आदि)

समग्र मूल्यांकन: यह सैद्धांतिक और व्यावहारिक दोनों दृष्टि से योगदान वाला एक उच्च गुणवत्ता वाला पेपर है। हालांकि उच्च कम्प्यूटेशनल संसाधन आवश्यकता की समस्या है, लेकिन α-Translution वेरिएंट का प्रस्ताव प्रदर्शन और दक्षता को अच्छी तरह से संतुलित करता है। पेपर गहन शिक्षा के मूल ऑपरेशन के एकीकरण के लिए एक नया दृष्टिकोण प्रदान करता है, जिसमें महत्वपूर्ण शैक्षणिक मूल्य और व्यावहारिक महत्व है।