TabDistill: Distilling Transformers into Neural Nets for Few-Shot Tabular Classification
Dissanayake, Dutta
Transformer-based models have shown promising performance on tabular data compared to their classical counterparts such as neural networks and Gradient Boosted Decision Trees (GBDTs) in scenarios with limited training data. They utilize their pre-trained knowledge to adapt to new domains, achieving commendable performance with only a few training examples, also called the few-shot regime. However, the performance gain in the few-shot regime comes at the expense of significantly increased complexity and number of parameters. To circumvent this trade-off, we introduce TabDistill, a new strategy to distill the pre-trained knowledge in complex transformer-based models into simpler neural networks for effectively classifying tabular data. Our framework yields the best of both worlds: being parameter-efficient while performing well with limited training data. The distilled neural networks surpass classical baselines such as regular neural networks, XGBoost and logistic regression under equal training data, and in some cases, even the original transformer-based models that they were distilled from.
academic
TabDistill: कुछ-शॉट टेबुलर वर्गीकरण के लिए ट्रांसफॉर्मर्स को न्यूरल नेट्स में आसवन करना
ट्रांसफॉर्मर-आधारित मॉडल सीमित प्रशिक्षण डेटा वाले परिदृश्यों में तंत्रिका नेटवर्क और ग्रेडिएंट बूस्टेड डिसीजन ट्रीज़ (GBDTs) जैसे शास्त्रीय समकक्षों की तुलना में टेबुलर डेटा पर आशाजनक प्रदर्शन दिखाते हैं। वे अपने पूर्व-प्रशिक्षित ज्ञान का उपयोग करके नए डोमेन के अनुकूल होते हैं, केवल कुछ प्रशिक्षण उदाहरणों के साथ सराहनीय प्रदर्शन प्राप्त करते हैं, जिसे कुछ-शॉट शासन भी कहा जाता है। हालांकि, कुछ-शॉट शासन में प्रदर्शन लाभ काफी बढ़ी हुई जटिलता और पैरामीटर संख्या की कीमत पर आता है। इस व्यापार-बंद को दूर करने के लिए, हम TabDistill प्रस्तुत करते हैं, जो टेबुलर डेटा को प्रभावी ढंग से वर्गीकृत करने के लिए जटिल ट्रांसफॉर्मर-आधारित मॉडल में पूर्व-प्रशिक्षित ज्ञान को सरल तंत्रिका नेटवर्क में आसवन करने की एक नई रणनीति है। हमारी रूपरेखा दोनों दुनियाओं का सर्वश्रेष्ठ प्रदान करती है: पैरामीटर-कुशल होते हुए सीमित प्रशिक्षण डेटा के साथ अच्छा प्रदर्शन करना। आसवित तंत्रिका नेटवर्क समान प्रशिक्षण डेटा के तहत नियमित तंत्रिका नेटवर्क, XGBoost और लॉजिस्टिक प्रतिगमन जैसे शास्त्रीय आधारभूत को पार करते हैं, और कुछ मामलों में, यहां तक कि मूल ट्रांसफॉर्मर-आधारित मॉडल को भी पार करते हैं जिनसे वे आसवित किए गए थे।
यह अनुसंधान टेबुलर डेटा वर्गीकरण में एक मूल विरोधाभास को हल करता है: कुछ-शॉट परिदृश्यों में, ट्रांसफॉर्मर-आधारित मॉडल उत्कृष्ट प्रदर्शन दिखाते हैं, लेकिन विशाल पैरामीटर संख्या और उच्च कम्प्यूटेशनल जटिलता के साथ, वास्तविक अनुप्रयोगों में तैनाती कठिन है।
व्यावहारिक अनुप्रयोग की आवश्यकता: वित्त, चिकित्सा, विनिर्माण जैसे उच्च-जोखिम वाले क्षेत्रों में, लेबल किए गए डेटा की कमी एक सामान्य समस्या है, जैसे दुर्लभ रोग निदान, सदी के एक बार की प्राकृतिक घटनाओं की भविष्यवाणी आदि
डेटा लेबलिंग लागत: वित्तीय अनुप्रयोगों में डेटा लेबलिंग महंगी है, व्यक्तिपरकता, गलत लेबलिंग, सहमति की कमी आदि समस्याएं हैं
तैनाती बाधाएं: व्यावहारिक अनुप्रयोगों को पैरामीटर-कुशल और स्केलेबल मॉडल की आवश्यकता है, विभिन्न बुनियादी ढांचे स्तरों के अनुकूल होने के लिए
पारंपरिक विधियां: XGBoost, CatBoost, LightGBM आदि पर्याप्त डेटा के साथ उत्कृष्ट प्रदर्शन करते हैं, लेकिन कुछ-शॉट परिदृश्यों में प्रदर्शन में उल्लेखनीय गिरावट आती है
ट्रांसफॉर्मर विधियां: TabPFN, TabLLM आदि कुछ-शॉट परिदृश्यों में उत्कृष्ट प्रदर्शन दिखाते हैं, लेकिन पैरामीटर संख्या लाखों या अरबों स्तर तक पहुंचती है, अनुमान लागत अधिक है
दक्षता और प्रदर्शन व्यापार-बंद: कुछ-शॉट प्रदर्शन को बनाए रखते हुए पैरामीटर दक्षता वाले समाधान की कमी है
लेखक मूल प्रश्न प्रस्तुत करते हैं: "क्या हम दोनों को प्राप्त कर सकते हैं, अर्थात् पैरामीटर दक्षता बनाए रखते हुए सीमित प्रशिक्षण डेटा के साथ अच्छा प्रदर्शन करना?"
TabDistill रूपरेखा प्रस्तावित करना: ट्रांसफॉर्मर मॉडल ज्ञान को तंत्रिका नेटवर्क में आसवन करने की एक नई रणनीति, टेबुलर डेटा वर्गीकरण में पैरामीटर दक्षता प्राप्त करना
दोहरी मॉडल उदाहरण: TabPFN (~11M पैरामीटर) और BigScience T0pp (~11B पैरामीटर) के आधार पर रूपरेखा को लागू करना, लगभग 1000 पैरामीटर के MLP में आसवन करना
प्रायोगिक सत्यापन: 5 टेबुलर डेटा सेट पर सत्यापन, आसवित MLP शास्त्रीय आधारभूत को पार करते हैं, कुछ मामलों में मूल ट्रांसफॉर्मर मॉडल को भी पार करते हैं
नवीन प्रशिक्षण रणनीति: क्रमचय-आधारित प्रशिक्षण तकनीक प्रस्तुत करना, अत्यंत छोटे प्रशिक्षण सेट पर अतिफिटिंग से बचना
छोटे टेबुलर डेटा सेट DN={(xn,yn),xn∈X,yn∈{0,1},n=1,...,N} दिया गया है, जहां N∼10, लक्ष्य पूर्व-प्रशिक्षित ट्रांसफॉर्मर मॉडल f के ज्ञान का उपयोग करके सरल MLP hθ(x):X→{0,1} उत्पन्न करना है।
हाइपरनेटवर्क विचार: कंप्यूटर विजन क्षेत्र के अनुभव से प्रेरणा लेते हुए, ट्रांसफॉर्मर को तंत्रिका नेटवर्क वजन उत्पन्न करने वाले हाइपरनेटवर्क के रूप में उपयोग करना
क्रमचय वृद्धि: प्रत्येक प्रशिक्षण epoch में विशेषताओं के क्रम को यादृच्छिक रूप से क्रमबद्ध करना, अतिफिटिंग से बचना
पैरामीटर-कुशल सूक्ष्म-समायोजन: केवल रैखिक मानचित्रण पैरामीटर η को सूक्ष्म-समायोजित करना, आधार मॉडल पैरामीटर को अपरिवर्तित रखना
दोहरी-चरण डिजाइन: पहले आसवन फिर सूक्ष्म-समायोजन, पूर्व-प्रशिक्षित ज्ञान का पूर्ण उपयोग
पेपर में समृद्ध संबंधित कार्य का हवाला दिया गया है, मुख्य रूप से:
टेबुलर डेटा शास्त्रीय विधियां: XGBoost, LightGBM, CatBoost आदि
ट्रांसफॉर्मर टेबुलर अनुप्रयोग: TabPFN, SAINT, TabLLM श्रृंखला
ज्ञान आसवन: Hinton आदि का शास्त्रीय कार्य
हाइपरनेटवर्क: कंप्यूटर विजन में संबंधित अनुप्रयोग
मेटा-लर्निंग: ट्रांसफॉर्मर संदर्भ सीखने संबंधित अनुसंधान
समग्र मूल्यांकन: यह एक उच्च-गुणवत्ता वाला अनुसंधान पेपर है जो वास्तविक समस्याओं के लिए नवीन समाधान प्रस्तुत करता है, पर्याप्त प्रायोगिक सत्यापन के साथ, महत्वपूर्ण शैक्षणिक और व्यावहारिक मूल्य रखता है। हालांकि कुछ सीमाएं हैं, लेकिन संबंधित क्षेत्र के विकास में महत्वपूर्ण योगदान देता है।