स्थिर पैनल मॉडल के लिए दोहरी मशीन लर्निंग निश्चित प्रभाव के साथ

मूल जानकारी

• पेपर ID: 2312.08174
• शीर्षक: Double Machine Learning for Static Panel Models with Fixed Effects
• लेखक: Paul S. Clarke (University of Essex), Annalivia Polselli (University of Essex)
• वर्गीकरण: econ.EM cs.LG stat.ML
• प्रकाशन समय/सम्मेलन: The Econometrics Journal (दिसंबर 2024 में स्वीकृत)
• पेपर लिंक: https://arxiv.org/abs/2312.08174

सारांश

यह पेपर पैनल डेटा विश्लेषण के लिए नई दोहरी मशीन लर्निंग (DML) प्रक्रियाएं विकसित करता है, जो सहसंयोजकों के उच्च-आयामी और गैर-रैखिक व्यवधान कार्यों को अनुमानित करने के लिए मशीन लर्निंग एल्गोरिदम का उपयोग करती हैं। नई प्रक्रियाएं प्रसिद्ध सहसंबद्ध यादृच्छिक प्रभाव, समूह-भीतर और प्रथम-अंतर अनुमानकों को रैखिक पैनल मॉडल से गैर-रैखिक पैनल मॉडल तक विस्तारित करती हैं, विशेष रूप से Robinson (1988) के आंशिक रैखिक प्रतिगमन मॉडल में निश्चित प्रभाव और अनिर्दिष्ट गैर-रैखिक भ्रम के साथ। सिमुलेशन अध्ययन विभिन्न मशीन लर्निंग एल्गोरिदम का उपयोग करके इन प्रक्रियाओं के प्रदर्शन का मूल्यांकन करते हैं। लेखक यूनाइटेड किंगडम में न्यूनतम वेतन के मतदान व्यवहार पर प्रभाव का पुनः अनुमान लगाने के लिए इन प्रक्रियाओं का उपयोग करते हैं। परिणाम प्रथम-अंतर विधि का उपयोग करने का सुझाव देते हैं, क्योंकि यह निश्चित प्रभाव वितरण पर न्यूनतम बाधाएं लागू करता है, और अनुमानक की इष्टतम सटीकता सुनिश्चित करने के लिए समेकित शिक्षण रणनीति को अपनाता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

पारंपरिक पैनल डेटा विश्लेषण मुख्य रूप से रैखिक मॉडल धारणा पर निर्भर करता है, लेकिन वास्तविकता में डेटा उत्पादन प्रक्रिया अक्सर जटिल गैर-रैखिक विशेषताओं को प्रदर्शित करती है। मौजूदा दोहरी मशीन लर्निंग विधियां मुख्य रूप से क्रॉस-सेक्शनल डेटा के लिए हैं, पैनल डेटा के अनुप्रयोग अपेक्षाकृत सीमित हैं, विशेष रूप से निश्चित प्रभाव के साथ गैर-रैखिक पैनल मॉडल को संभालने में।

अनुसंधान का महत्व

1. पद्धतिगत आवश्यकता: पैनल डेटा अनुभवजन्य अनुसंधान में व्यापक रूप से उपयोग किया जाता है, गैर-रैखिक संबंधों और उच्च-आयामी सहसंयोजकों को संभालने में सक्षम मजबूत विधियों की आवश्यकता है
2. कारणात्मक अनुमान: समय-अपरिवर्तनीय भ्रम कारकों की उपस्थिति में, कारणात्मक प्रभाव का सटीक अनुमान महत्वपूर्ण नीति निहितार्थ रखता है
3. मशीन लर्निंग एकीकरण: मशीन लर्निंग की भविष्य कहनेवाली क्षमता को पारंपरिक अर्थमिति के कारणात्मक अनुमान ढांचे के साथ जोड़ना

मौजूदा विधियों की सीमाएं

1. रैखिक धारणा: पारंपरिक पैनल डेटा विधियां रैखिक संबंध मानती हैं, जिससे मॉडल गलत विनिर्देश हो सकता है
2. विरलता पर निर्भरता: मौजूदा DML पैनल विधियां (जैसे Klosin & Vilgalys, 2023; Semenova et al., 2023) उच्च-आयामी विरल कार्य धारणा पर अत्यधिक निर्भर हैं
3. एल्गोरिदम सीमाएं: मुख्य रूप से LASSO जैसे विशिष्ट एल्गोरिदम पर ध्यान केंद्रित करते हैं, सामान्यता की कमी है

मुख्य योगदान

1. पद्धतिगत नवाचार: तीन नई DML प्रक्रियाएं विकसित की गईं, जो सहसंबद्ध यादृच्छिक प्रभाव (CRE), समूह-भीतर (WG) और प्रथम-अंतर (FD) अनुमानकों को गैर-रैखिक सेटिंग तक विस्तारित करती हैं
2. तकनीकी सामान्यता: पूर्व विरलता धारणा पर निर्भर नहीं है, कई मशीन लर्निंग एल्गोरिदम का समर्थन करता है (LASSO, CART, यादृच्छिक वन, ग्रेडिएंट बूस्टिंग)
3. कम्प्यूटेशनल अनुकूलन: पैनल डेटा की क्रमिक सहसंबद्धता को संभालने के लिए ब्लॉक k-फोल्ड क्रॉस-फिटिंग विधि को अपनाता है
4. अनुभवजन्य अनुप्रयोग: यूनाइटेड किंगडम में न्यूनतम वेतन नीति प्रभाव का पुनः विश्लेषण प्रदान करता है, विधि की व्यावहारिकता को सत्यापित करता है

विधि विवरण

कार्य परिभाषा

आंशिक रैखिक पैनल प्रतिगमन (PLPR) मॉडल में सजातीय उपचार प्रभाव पैरामीटर θ₀ का अनुमान लगाना:

$Y_{it} = D_{it}\theta_0 + g_1(X_{it}) + \alpha_i^* + U_{it}$

जहां:

• $Y_{it}$: परिणाम चर
• $D_{it}$: उपचार चर (सतत या द्विआधारी)
• $X_{it}$: नियंत्रण चर वेक्टर
• $\alpha_i^*$: व्यक्तिगत निश्चित प्रभाव
• $g_1(\cdot)$: अज्ञात गैर-रैखिक कार्य

मॉडल आर्किटेक्चर

1. आंशिक आउटपुट PLPR मॉडल (PO-PLPR)

$Y_{it} = V_{it}\theta_0 + l_1(X_{it}) + \alpha_i + U_{it}$$V_{it} = D_{it} - m_1(X_{it}) - \gamma_i$

जहां $l_1$ और $m_1$ सीखे जाने वाले व्यवधान कार्य हैं।

2. निश्चित प्रभाव को संभालने के तीन तरीके

सहसंबद्ध यादृच्छिक प्रभाव (CRE) विधि: $Y_{it} = V_{it}\theta_0 + \tilde{l}_1(X_{it}, \bar{X}_i) + a_i + U_{it}$$V_{it} = D_{it} - \tilde{m}_1(X_{it}, \bar{X}_i) - c_i$

जहां $\bar{X}_i = T^{-1}\sum_{t=1}^T X_{it}$ व्यक्तिगत माध्य है।

डेटा रूपांतरण विधियां:

• प्रथम-अंतर (FD): $Q(W_{it}) = W_{it} - W_{it-1}$
• समूह-भीतर (WG): $Q(W_{it}) = W_{it} - \bar{W}_i$

रूपांतरित मॉडल: $Q(Y_{it}) = Q(V_{it})\theta_0 + Q(l_1(X_{it})) + Q(U_{it})$

तकनीकी नवाचार बिंदु

1. Neyman ऑर्थोगोनल स्कोरिंग कार्य: पैनल डेटा के लिए उपयुक्त ऑर्थोगोनल स्कोरिंग कार्य का निर्माण: $\psi^{\perp}(W_i; \theta_0, \eta_0) = V_i^{\perp}\Sigma_0^{-1}(X_i)r_i$
2. ब्लॉक k-फोल्ड क्रॉस-फिटिंग: पूरे व्यक्तिगत समय श्रृंखला को एक ही फोल्ड में आवंटित करता है, क्रमिक सहसंबद्धता समस्याओं से बचता है
3. व्यवधान कार्य सीखने की रणनीति:
   • अनुमानित विधि: $Q(l_1(X_{it})) \approx l_1(Q(X_{it}))$
   • सटीक विधि: सीधे $\Delta l_1(X_{it-1}, X_{it}) = l_1(X_{it}) - l_1(X_{it-1})$ सीखना
   • मिश्रित विधि: CRE और रूपांतरण विधियों के लाभों को जोड़ना

प्रायोगिक सेटअप

सिमुलेशन डेटा डिजाइन

तीन विभिन्न जटिलता के डेटा उत्पादन प्रक्रियाएं (DGP) उत्पन्न करना:

1. रैखिक DGP: $l_0(X_{it}) = aX_{it,1} + X_{it,3}$
2. गैर-रैखिक चिकनी DGP: $l_0(X_{it}) = \frac{\exp(X_{it,1})}{1+\exp(X_{it,1})} + a\cos(X_{it,3})$
3. गैर-रैखिक असंतत DGP: $l_0(X_{it}) = b(X_{it,1} \cdot X_{it,3}) + a(X_{it,3} \cdot \mathbf{1}[X_{it,3} > 0])$

अनुभवजन्य डेटा

यूनाइटेड किंगडम घरेलू पैनल सर्वेक्षण (BHPS) डेटा का उपयोग, जिसमें शामिल है:

• नमूना: 9,922 कार्यरत व्यक्ति, 1991-2009
• उपचार चर: न्यूनतम वेतन प्राप्त करना या नहीं
• परिणाम चर: रूढ़िवादी पार्टी को वोट देना या नहीं
• नियंत्रण चर: 72 मूल चर, गैर-रैखिक शर्तों के साथ विस्तार के बाद 1,476 तक पहुंचते हैं

मूल्यांकन मेट्रिक्स

• पूर्वाग्रह: $\text{Bias}(\hat{\theta}) = E[\hat{\theta}] - \theta_0$
• मूल माध्य वर्ग त्रुटि: $\text{RMSE}(\hat{\theta}) = \sqrt{E[(\hat{\theta} - \theta_0)^2]}$
• मानक त्रुटि अनुपात: $\text{SE}(\hat{\theta})/\text{SD}(\hat{\theta})$
• मॉडल RMSE: व्यवधान कार्य भविष्य कहनेवाली सटीकता को मापता है

तुलनात्मक विधियां

• आधारभूत विधि: साधारण न्यूनतम वर्ग (OLS)
• DML एल्गोरिदम: LASSO, CART, यादृच्छिक वन (RF), ग्रेडिएंट बूस्टिंग

प्रायोगिक परिणाम

सिमुलेशन परिणाम

रैखिक DGP:

• OLS सर्वोत्तम प्रदर्शन करता है, जैसा कि अपेक्षित है
• DML-LASSO प्रदर्शन OLS के करीब है
• वृक्ष विधियां छोटे नमूने में कम प्रदर्शन करती हैं

गैर-रैखिक चिकनी DGP:

• OLS अभी भी अच्छा प्रदर्शन करता है (कार्य अधिकांश क्षेत्र में लगभग रैखिक है)
• DML विधियां सीमित सुधार प्रदान करती हैं

गैर-रैखिक असंतत DGP:

• DML-LASSO OLS से काफी बेहतर है
• OLS पूर्वाग्रह 0.993 तक (सच्चा मान 0.50)
• DML-LASSO पूर्वाग्रह केवल 0.009, RMSE 0.014

मुख्य निष्कर्ष

1. विधि तुलना:
   • FD (सटीक) विधि सबसे मजबूत है, निश्चित प्रभाव वितरण पर न्यूनतम बाधाएं
   • CRE विधि को अतिरिक्त Mundlak-प्रकार की धारणा की आवश्यकता है
   • WG (अनुमानित) विधि गैर-रैखिक स्थिति में कम प्रदर्शन करती है
2. एल्गोरिदम प्रदर्शन:
   • LASSO विस्तारित शब्दकोश में सर्वोत्तम प्रदर्शन करता है
   • वृक्ष विधियों में हाइपरपैरामीटर ट्यूनिंग कठिनाई होती है, गैर-सामान्य नमूना वितरण
   • समेकित शिक्षण रणनीति महत्वपूर्ण है

अनुभवजन्य अनुप्रयोग परिणाम

यूनाइटेड किंगडम में न्यूनतम वेतन का रूढ़िवादी पार्टी मतदान पर प्रभाव:

परिणाम दिखाते हैं:

• FD विधि अनुमान सबसे मजबूत है, विभिन्न एल्गोरिदम में उच्चतम सामंजस्य
• CRE विधि में वृक्ष विधियां अस्थिर प्रदर्शन करती हैं
• WG विधि परिणाम दोनों के बीच है

संबंधित कार्य

मशीन लर्निंग कारणात्मक अनुमान

1. एल्गोरिदम विकास: Athey & Imbens (2016) के कारणात्मक वृक्ष, Wager & Athey (2018) के कारणात्मक वन
2. DML ढांचा: Chernozhukov et al. (2018) की दोहरी मशीन लर्निंग सैद्धांतिक नींव
3. पैनल अनुप्रयोग: Chang (2020) के अंतर में अंतर, Semenova et al. (2023) के गतिशील पैनल

उच्च-आयामी पैनल विधियां

1. LASSO अनुप्रयोग: Belloni et al. (2016) के पोस्ट-क्लस्टर LASSO
2. विरलता धारणा: Klosin & Vilgalys (2023) और Semenova et al. (2023) की विरलता-निर्भर विधियां
3. निश्चित प्रभाव उपचार: Wooldridge & Zhu (2020) का CRE विस्तार

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

1. विधि सिफारिश: FD (सटीक) विधि का उपयोग करने की सिफारिश करता है, क्योंकि यह निश्चित प्रभाव वितरण पर न्यूनतम बाधाएं लागू करता है
2. एल्गोरिदम रणनीति: कई एल्गोरिदम के लाभों को जोड़ते हुए समेकित शिक्षण रणनीति अपनाने की सिफारिश करता है
3. व्यावहारिक मूल्य: विधि असंतुलित पैनल पर लागू होती है, मजबूत विस्तारशीलता

सीमाएं

1. सजातीयता धारणा: मुख्य रूप से सजातीय उपचार प्रभाव पर ध्यान केंद्रित करता है, विषमता विस्तार को पैरामीट्रिक मॉडलिंग की आवश्यकता है
2. वृक्ष विधि समस्याएं: वृक्ष-आधारित विधियों में हाइपरपैरामीटर ट्यूनिंग कठिनाई और गैर-सामान्य नमूना वितरण समस्याएं हैं
3. कम्प्यूटेशनल जटिलता: उच्च-आयामी शब्दकोश और क्रॉस-फिटिंग कम्प्यूटेशनल बोझ बढ़ाते हैं

भविष्य की दिशाएं

1. विषमता विस्तार: औसत उपचार प्रभाव (ATE) के बजाय सशर्त औसत उपचार प्रभाव (CATE) के लिए विधियां विकसित करना
2. गतिशील पैनल: गतिशील पैनल डेटा मॉडल तक विस्तार
3. लापता डेटा: पैनल डेटा में गैर-यादृच्छिक लापता डेटा को संभालना

गहन मूल्यांकन

शक्तियां

1. सैद्धांतिक कठोरता: Neyman ऑर्थोगोनैलिटी सिद्धांत पर आधारित, पूर्ण स्पर्शोन्मुख सैद्धांतिक आधार प्रदान करता है
2. विधि सामान्यता: विशिष्ट विरलता धारणा पर निर्भर नहीं है, कई मशीन लर्निंग एल्गोरिदम का समर्थन करता है
3. व्यापक प्रयोग: व्यापक सिमुलेशन अध्ययन और वास्तविक डेटा अनुप्रयोग शामिल है
4. कम्प्यूटेशनल नवाचार: ब्लॉक क्रॉस-फिटिंग पैनल डेटा की क्रमिक सहसंबद्धता समस्या को प्रभावी ढंग से संभालता है

कमियां

1. वृक्ष विधि सीमाएं: वृक्ष-आधारित विधियों का विश्लेषण पर्याप्त गहन नहीं है, हाइपरपैरामीटर ट्यूनिंग रणनीति में सुधार की आवश्यकता है
2. विषमता प्रतिबंध: उपचार प्रभाव विषमता का उपचार अपेक्षाकृत सरल है, अधिक लचीली ढांचे की आवश्यकता है
3. अनुभवजन्य सीमा: अनुभवजन्य अनुप्रयोग केवल एकल मामले तक सीमित है, व्यापक सत्यापन की कमी है

प्रभाव

1. शैक्षणिक योगदान: पैनल डेटा अनुप्रयोग में DML के महत्वपूर्ण अंतराल को भरता है
2. व्यावहारिक मूल्य: अनुभवजन्य शोधकर्ताओं को गैर-रैखिक पैनल डेटा को संभालने के लिए प्रभावी उपकरण प्रदान करता है
3. पुनरुत्पादनीयता: R पैकेज (XTDML) प्रदान करता है, विधि प्रसार को सुविधाजनक बनाता है

लागू परिदृश्य

1. नीति मूल्यांकन: समय-अपरिवर्तनीय भ्रम को नियंत्रित करने की आवश्यकता वाले नीति प्रभाव मूल्यांकन के लिए उपयुक्त
2. श्रम अर्थशास्त्र: शिक्षा रिटर्न, वेतन प्रभाव आदि दीर्घकालीन अनुवर्ती अध्ययन
3. विकास अर्थशास्त्र: विकास हस्तक्षेप उपायों के दीर्घकालीन प्रभाव मूल्यांकन
4. स्वास्थ्य अर्थशास्त्र: चिकित्सा नीति और हस्तक्षेप के अनुदैर्ध्य प्रभाव विश्लेषण

संदर्भ

1. Chernozhukov, V., et al. (2018). Double/debiased machine learning for treatment and structural parameters. The Econometrics Journal.
2. Robinson, P. M. (1988). Root-n-consistent semiparametric regression. Econometrica.
3. Athey, S., & Imbens, G. (2016). Recursive partitioning for heterogeneous causal effects. PNAS.
4. Wooldridge, J. M. (2019). Correlated random effects models with unbalanced panels. Journal of Econometrics.

समग्र मूल्यांकन: यह अर्थमिति पद्धति में एक उच्च-गुणवत्ता वाला पेपर है, जो दोहरी मशीन लर्निंग ढांचे को पैनल डेटा सेटिंग तक सफलतापूर्वक विस्तारित करता है। पेपर सैद्धांतिक विकास, विधि नवाचार और अनुभवजन्य सत्यापन के सभी पहलुओं में उत्कृष्ट प्रदर्शन करता है। हालांकि कुछ तकनीकी विवरणों में सुधार की गुंजाइश है, लेकिन क्षेत्र में इसका योगदान महत्वपूर्ण है।