স্থির প্রভাব সহ স্ট্যাটিক প্যানেল মডেলের জন্য দ্বিগুণ মেশিন লার্নিং

মৌলিক তথ্য

• পেপার আইডি: 2312.08174
• শিরোনাম: Double Machine Learning for Static Panel Models with Fixed Effects
• লেখক: পল এস. ক্লার্ক (এসেক্স বিশ্ববিদ্যালয়), অ্যানালিভিয়া পলসেলি (এসেক্স বিশ্ববিদ্যালয়)
• শ্রেণীবিভাগ: econ.EM cs.LG stat.ML
• প্রকাশনার সময়/সম্মেলন: দ্য ইকোনোমেট্রিক্স জার্নাল (২০২৪ সালের ডিসেম্বরে গৃহীত)
• পেপার লিঙ্ক: https://arxiv.org/abs/2312.08174

সারসংক্ষেপ

এই পেপারটি প্যানেল ডেটা বিশ্লেষণের জন্য উদ্ভাবনী দ্বিগুণ মেশিন লার্নিং (ডিএমএল) পদ্ধতি উন্নয়ন করে, যা মেশিন লার্নিং অ্যালগরিদম ব্যবহার করে সহভেরিয়েটের উচ্চ-মাত্রিক এবং অরৈখিক বিঘ্নকারী ফাংশনগুলি অনুমান করে। নতুন পদ্ধতিগুলি বিখ্যাত সম্পর্কিত র‍্যান্ডম ইফেক্ট, উইদিন-গ্রুপ এবং প্রথম পার্থক্য অনুমানকারীদের রৈখিক প্যানেল মডেল থেকে অরৈখিক প্যানেল মডেলে প্রসারিত করে, বিশেষত রবিনসন (১৯৮৮) এর স্থির প্রভাব এবং অনির্দিষ্ট অরৈখিক বিভ্রান্তি সহ আধা-রৈখিক রিগ্রেশন মডেল। সিমুলেশন অধ্যয়ন বিভিন্ন মেশিন লার্নিং অ্যালগরিদম ব্যবহার করে এই পদ্ধতিগুলির কর্মক্ষমতা মূল্যায়ন করে। লেখকরা ব্রিটিশ ন্যূনতম মজুরি ভোটদানের আচরণে প্রভাব পুনরায় অনুমান করতে এই পদ্ধতিগুলি ব্যবহার করেন। ফলাফল প্রথম পার্থক্য পদ্ধতি ব্যবহারের পরামর্শ দেয়, কারণ এটি স্থির প্রভাব বিতরণে সর্বনিম্ন সীমাবদ্ধতা আরোপ করে এবং অনুমানকারীর সর্বোত্তম নির্ভুলতা নিশ্চিত করতে সমন্বিত শেখার কৌশল গ্রহণ করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

ঐতিহ্যবাহী প্যানেল ডেটা বিশ্লেষণ প্রধানত রৈখিক মডেল অনুমানের উপর নির্ভর করে, কিন্তু বাস্তব-বিশ্বের ডেটা উৎপাদন প্রক্রিয়া প্রায়শই জটিল অরৈখিক বৈশিষ্ট্য প্রদর্শন করে। বিদ্যমান দ্বিগুণ মেশিন লার্নিং পদ্ধতিগুলি প্রধানত ক্রস-সেকশনাল ডেটার জন্য ডিজাইন করা হয়েছে, প্যানেল ডেটার প্রয়োগ তুলনামূলকভাবে সীমিত, বিশেষত স্থির প্রভাব সহ অরৈখিক প্যানেল মডেলগুলি পরিচালনা করার ক্ষেত্রে।

গবেষণার গুরুত্ব

১. পদ্ধতিগত চাহিদা: প্যানেল ডেটা অভিজ্ঞতামূলক গবেষণায় ব্যাপকভাবে ব্যবহৃত হয়, অরৈখিক সম্পর্ক এবং উচ্চ-মাত্রিক সহভেরিয়েট পরিচালনা করতে পারে এমন শক্তিশালী পদ্ধতির প্রয়োজন ২. কার্যকারণ অনুমান: সময়-অপরিবর্তনীয় বিভ্রান্তকারী কারণগুলির উপস্থিতিতে, কার্যকারণ প্রভাব সঠিকভাবে অনুমান করা গুরুত্বপূর্ণ নীতি অর্থ রয়েছে ३. মেশিন লার্নিং একীকরণ: মেশিন লার্নিং এর পূর্বাভাস ক্ষমতা ঐতিহ্যবাহী অর্থনীতিবিদ্যার কার্যকারণ অনুমান কাঠামোর সাথে একত্রিত করা

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

१. রৈখিক অনুমান: ঐতিহ্যবাহী প্যানেল ডেটা পদ্ধতি রৈখিক সম্পর্ক অনুমান করে, যা মডেল ভুল নির্দিষ্টকরণের দিকে পরিচালিত করতে পারে २. স্পার্সিটি নির্ভরতা: বিদ্যমান ডিএমএল প্যানেল পদ্ধতি (যেমন ক্লোসিন এবং ভিলগালিস, २०२३; সেমেনোভা এট আল., २०२३) উচ্চ-মাত্রিক স্পার্স ফাংশন অনুমানের উপর অত্যধিক নির্ভরশীল ३. অ্যালগরিদম সীমাবদ্ধতা: প্রধানত LASSO এর মতো নির্দিষ্ট অ্যালগরিদমের উপর ফোকাস করে, সর্বজনীনতার অভাব

মূল অবদান

१. পদ্ধতিগত উদ্ভাবন: তিনটি নতুন ডিএমএল পদ্ধতি উন্নয়ন করে যা সম্পর্কিত র‍্যান্ডম ইফেক্ট (সিআরই), উইদিন-গ্রুপ (ডাব্লুজি) এবং প্রথম পার্থক্য (এফডি) অনুমানকারীদের অরৈখিক সেটিংয়ে প্রসারিত করে २. প্রযুক্তিগত সর্বজনীনতা: পূর্ব-স্পার্সিটি অনুমানের উপর নির্ভর করে না, একাধিক মেশিন লার্নিং অ্যালগরিদম সমর্থন করে (LASSO, CART, র‍্যান্ডম ফরেস্ট, গ্র্যাডিয়েন্ট বুস্টিং) ३. গণনামূলক অপ্টিমাইজেশন: প্যানেল ডেটার ক্রমিক সম্পর্ক পরিচালনা করতে ব্লক কে-ফোল্ড ক্রস-ফিটিং পদ্ধতি গ্রহণ করে ४. অভিজ্ঞতামূলক প্রয়োগ: ব্রিটিশ ন্যূনতম মজুরি নীতি প্রভাবের পুনরায় বিশ্লেষণ প্রদান করে, পদ্ধতির ব্যবহারিকতা যাচাই করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

আধা-রৈখিক প্যানেল রিগ্রেশন (পিএলপিআর) মডেলে সমজাতীয় চিকিৎসা প্রভাব প্যারামিটার θ₀ অনুমান করা:

$Y_{it} = D_{it}\theta_0 + g_1(X_{it}) + \alpha_i^* + U_{it}$

যেখানে:

• $Y_{it}$: ফলাফল পরিবর্তনশীল
• $D_{it}$: চিকিৎসা পরিবর্তনশীল (অবিরত বা বাইনারি)
• $X_{it}$: নিয়ন্ত্রণ পরিবর্তনশীল ভেক্টর
• $\alpha_i^*$: ব্যক্তিগত স্থির প্রভাব
• $g_1(\cdot)$: অজানা অরৈখিক ফাংশন

মডেল আর্কিটেকচার

१. আংশিক আউটপুট পিএলপিআর মডেল (পিও-পিএলপিআর)

$Y_{it} = V_{it}\theta_0 + l_1(X_{it}) + \alpha_i + U_{it}$$V_{it} = D_{it} - m_1(X_{it}) - \gamma_i$

যেখানে $l_1$ এবং $m_1$ শেখার বিঘ্নকারী ফাংশন।

२. তিনটি স্থির প্রভাব চিকিৎসা পদ্ধতি

সম্পর্কিত র‍্যান্ডম ইফেক্ট (সিআরই) পদ্ধতি: $Y_{it} = V_{it}\theta_0 + \tilde{l}_1(X_{it}, \bar{X}_i) + a_i + U_{it}$$V_{it} = D_{it} - \tilde{m}_1(X_{it}, \bar{X}_i) - c_i$

যেখানে $\bar{X}_i = T^{-1}\sum_{t=1}^T X_{it}$ ব্যক্তিগত গড়।

ডেটা রূপান্তর পদ্ধতি:

• প্রথম পার্থক্য (এফডি): $Q(W_{it}) = W_{it} - W_{it-1}$
• উইদিন-গ্রুপ রূপান্তর (ডাব্লুজি): $Q(W_{it}) = W_{it} - \bar{W}_i$

রূপান্তরিত মডেল: $Q(Y_{it}) = Q(V_{it})\theta_0 + Q(l_1(X_{it})) + Q(U_{it})$

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. নেইম্যান অর্থোগোনাল স্কোরিং ফাংশন: প্যানেল ডেটার জন্য উপযুক্ত অর্থোগোনাল স্কোরিং ফাংশন তৈরি করা: $\psi^{\perp}(W_i; \theta_0, \eta_0) = V_i^{\perp}\Sigma_0^{-1}(X_i)r_i$

२. ব্লক কে-ফোল্ড ক্রস-ফিটিং: সম্পূর্ণ ব্যক্তিগত সময় সিরিজকে একই ফোল্ডে বরাদ্দ করা, ক্রমিক সম্পর্ক সমস্যা এড়ানো

३. বিঘ্নকারী ফাংশন শেখার কৌশল:

• আনুমানিক পদ্ধতি: $Q(l_1(X_{it})) \approx l_1(Q(X_{it}))$
• সঠিক পদ্ধতি: সরাসরি $\Delta l_1(X_{it-1}, X_{it}) = l_1(X_{it}) - l_1(X_{it-1})$ শিখুন
• মিশ্র পদ্ধতি: সিআরই এবং রূপান্তর পদ্ধতির সুবিধা একত্রিত করা

পরীক্ষামূলক সেটআপ

সিমুলেশন ডেটা ডিজাইন

তিনটি ভিন্ন জটিলতার ডেটা উৎপাদন প্রক্রিয়া (ডিজিপি) তৈরি করা:

१. রৈখিক ডিজিপি: $l_0(X_{it}) = aX_{it,1} + X_{it,3}$ २. অরৈখিক মসৃণ ডিজিপি: $l_0(X_{it}) = \frac{\exp(X_{it,1})}{1+\exp(X_{it,1})} + a\cos(X_{it,3})$ ३. অরৈখিক বিচ্ছিন্ন ডিজিপি: $l_0(X_{it}) = b(X_{it,1} \cdot X_{it,3}) + a(X_{it,3} \cdot \mathbf{1}[X_{it,3} > 0])$

অভিজ্ঞতামূলক ডেটা

ব্রিটিশ গৃহস্থালী প্যানেল সমীক্ষা (বিএইচপিএস) ডেটা ব্যবহার করা, যা অন্তর্ভুক্ত করে:

• নমুনা: ৯,৯२२ কর্মজীবী ব্যক্তি, ১৯৯१-२००९
• চিকিৎসা পরিবর্তনশীল: ন্যূনতম মজুরি প্রাপ্ত কিনা
• ফলাফল পরিবর্তনশীল: রক্ষণশীল পক্ষে ভোট দিয়েছেন কিনা
• নিয়ন্ত্রণ পরিবর্তনশীল: ৭२ মৌলিক পরিবর্তনশীল, অরৈখিক পদ অন্তর্ভুক্ত করার পরে १,४७६ এ প্রসারিত

মূল্যায়ন মেট্রিক্স

• পক্ষপাত: $\text{Bias}(\hat{\theta}) = E[\hat{\theta}] - \theta_0$
• মূল গড় বর্গ ত্রুটি: $\text{RMSE}(\hat{\theta}) = \sqrt{E[(\hat{\theta} - \theta_0)^2]}$
• মান ত্রুটি অনুপাত: $\text{SE}(\hat{\theta})/\text{SD}(\hat{\theta})$
• মডেল আরএমএসই: বিঘ্নকারী ফাংশন পূর্বাভাস নির্ভুলতা পরিমাপ করা

তুলনামূলক পদ্ধতি

• ভিত্তি পদ্ধতি: সাধারণ সর্বনিম্ন বর্গ (ওএলএস)
• ডিএমএল অ্যালগরিদম: LASSO, CART, র‍্যান্ডম ফরেস্ট (আরএফ), গ্র্যাডিয়েন্ট বুস্টিং

পরীক্ষামূলক ফলাফল

সিমুলেশন ফলাফল

রৈখিক ডিজিপি:

• ওএলএস সর্বোত্তম কর্মক্ষমতা প্রদর্শন করে, প্রত্যাশা অনুযায়ী
• ডিএমএল-LASSO কর্মক্ষমতা ওএলএসের কাছাকাছি
• গাছ পদ্ধতি ছোট নমুনায় দুর্বল কর্মক্ষমতা

অরৈখিক মসৃণ ডিজিপি:

• ওএলএস এখনও ভাল কর্মক্ষমতা প্রদর্শন করে (ফাংশন বেশিরভাগ অঞ্চলে প্রায় রৈখিক)
• ডিএমএল পদ্ধতি সীমিত উন্নতি

অরৈখিক বিচ্ছিন্ন ডিজিপি:

• ডিএমএল-LASSO ওএলএসের চেয়ে উল্লেখযোগ্যভাবে ভাল
• ওএলএস পক্ষপাত ০.९९३ (সত্য মান ०.५०)
• ডিএমএল-LASSO পক্ষপাত মাত্র ०.००९, আরএমএসই ०.०१४

মূল অনুসন্ধান

१. পদ্ধতি তুলনা:

• এফডি (সঠিক) পদ্ধতি সবচেয়ে শক্তিশালী, স্থির প্রভাব বিতরণে সর্বনিম্ন সীমাবদ্ধতা
• সিআরই পদ্ধতি অতিরিক্ত মুন্ডলাক-ধরনের অনুমান প্রয়োজন
• ডাব্লুজি (আনুমানিক) পদ্ধতি অরৈখিক ক্ষেত্রে দুর্বল কর্মক্ষমতা

२. অ্যালগরিদম কর্মক্ষমতা:

• LASSO সম্প্রসারিত অভিধানে সর্বোত্তম কর্মক্ষমতা
• গাছ পদ্ধতি হাইপারপ্যারামিটার টিউনিং কঠিনতা, অ-স্বাভাবিক নমুনা বিতরণ
• সমন্বিত শেখার কৌশল অত্যন্ত গুরুত্বপূর্ণ

অভিজ্ঞতামূলক প্রয়োগ ফলাফল

ব্রিটিশ ন্যূনতম মজুরি রক্ষণশীল পক্ষে ভোটদানের প্রভাব:

ফলাফল দেখায়:

• এফডি পদ্ধতি অনুমান সবচেয়ে শক্তিশালী, বিভিন্ন অ্যালগরিদম জুড়ে সামঞ্জস্য সর্বোচ্চ
• সিআরই পদ্ধতিতে গাছ পদ্ধতি অস্থির কর্মক্ষমতা
• ডাব্লুজি পদ্ধতি ফলাফল দুটির মধ্যে মধ্যবর্তী

সম্পর্কিত কাজ

মেশিন লার্নিং কার্যকারণ অনুমান

१. অ্যালগরিদম উন্নয়ন: অ্যাথে এবং ইম্বেন্স (२०१६) এর কার্যকারণ গাছ, ওয়েজার এবং অ্যাথে (२०१८) এর কার্যকারণ বন २. ডিএমএল কাঠামো: চার্নোজুকভ এট আল. (२०१८) এর দ্বিগুণ মেশিন লার্নিং তাত্ত্বিক ভিত্তি ३. প্যানেল প্রয়োগ: চ্যাং (२०२०) এর পার্থক্যে পার্থক্য, সেমেনোভা এট আল. (२०२३) এর গতিশীল প্যানেল

উচ্চ-মাত্রিক প্যানেল পদ্ধতি

१. LASSO প্রয়োগ: বেলোনি এট আল. (२०१६) এর পোস্ট-ক্লাস্টার LASSO २. স্পার্সিটি অনুমান: ক্লোসিন এবং ভিলগালিস (२०२३) এবং সেমেনোভা এট আল. (२०२३) এর স্পার্সিটি-নির্ভর পদ্ধতি ३. স্থির প্রভাব চিকিৎসা: উলড্রিজ এবং ঝু (२०२०) এর সিআরই সম্প্রসারণ

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. পদ্ধতি সুপারিশ: এফডি (সঠিক) পদ্ধতি ব্যবহার সুপারিশ করা হয়, কারণ এটি স্থির প্রভাব বিতরণে সর্বনিম্ন সীমাবদ্ধতা আরোপ করে २. অ্যালগরিদম কৌশল: সমন্বিত শেখার কৌশল গ্রহণ সুপারিশ করা হয়, একাধিক অ্যালগরিদম সুবিধা একত্রিত করা ३. ব্যবহারিক মূল্য: পদ্ধতি অসম প্যানেলে প্রয়োগযোগ্য, শক্তিশালী সম্প্রসারণযোগ্যতা

সীমাবদ্ধতা

१. সমজাতীয়তা অনুমান: প্রধানত সমজাতীয় চিকিৎসা প্রভাবের উপর ফোকাস করে, বৈষম্যমূলকতা সম্প্রসারণ প্যারামিটারকরণ মডেলিং প্রয়োজন २. গাছ পদ্ধতি সমস্যা: গাছ-ভিত্তিক পদ্ধতি হাইপারপ্যারামিটার টিউনিং কঠিনতা এবং অ-স্বাভাবিক নমুনা বিতরণ সমস্যা উপস্থাপন করে ३. গণনামূলক জটিলতা: উচ্চ-মাত্রিক অভিধান এবং ক্রস-ফিটিং গণনামূলক বোঝা বৃদ্ধি করে

ভবিষ্যত দিকনির্দেশনা

१. বৈষম্যমূলকতা সম্প্রসারণ: গড় চিকিৎসা প্রভাব (এটিই) এর পরিবর্তে শর্তাধীন গড় চিকিৎসা প্রভাব (সিএটিই) এর জন্য পদ্ধতি উন্নয়ন २. গতিশীল প্যানেল: গতিশীল প্যানেল ডেটা মডেলে সম্প্রসারণ ३. অনুপস্থিত ডেটা: প্যানেল ডেটায় অ-র‍্যান্ডম অনুপস্থিত ডেটা পরিচালনা

গভীর মূল্যায়ন

শক্তি

१. তাত্ত্বিক কঠোরতা: নেইম্যান অর্থোগোনালিটি তত্ত্বের উপর ভিত্তি করে, সম্পূর্ণ অ্যাসিম্পটোটিক তাত্ত্বিক ভিত্তি প্রদান করে २. পদ্ধতি সর্বজনীনতা: নির্দিষ্ট স্পার্সিটি অনুমানের উপর নির্ভর করে না, একাধিক মেশিন লার্নিং অ্যালগরিদম সমর্থন করে ३. পরীক্ষা সম্পূর্ণ: ব্যাপক সিমুলেশন অধ্যয়ন এবং বাস্তব ডেটা প্রয়োগ অন্তর্ভুক্ত করে ४. গণনামূলক উদ্ভাবন: ব্লক ক্রস-ফিটিং কার্যকরভাবে প্যানেল ডেটা-নির্দিষ্ট ক্রমিক সম্পর্ক পরিচালনা করে

অপূর্ণতা

१. গাছ পদ্ধতি সীমাবদ্ধতা: গাছ-ভিত্তিক পদ্ধতির বিশ্লেষণ অপর্যাপ্ত, হাইপারপ্যারামিটার টিউনিং কৌশল উন্নতির অপেক্ষায় २. বৈষম্যমূলকতা সীমাবদ্ধতা: চিকিৎসা প্রভাব বৈষম্যমূলকতার চিকিৎসা তুলনামূলকভাবে সহজ, আরও নমনীয় কাঠামো প্রয়োজন ३. অভিজ্ঞতামূলক পরিসীমা: অভিজ্ঞতামূলক প্রয়োগ একক ক্ষেত্রে সীমাবদ্ধ, আরও বিস্তৃত যাচাইকরণের অভাব

প্রভাব

१. একাডেমিক অবদান: প্যানেল ডেটা প্রয়োগে ডিএমএল এর গুরুত্বপূর্ণ শূন্যতা পূরণ করে २. ব্যবহারিক মূল্য: অভিজ্ঞতামূলক গবেষকদের অরৈখিক প্যানেল ডেটা পরিচালনার জন্য কার্যকর সরঞ্জাম প্রদান করে ३. পুনরুৎপাদনযোগ্যতা: আর প্যাকেজ (এক্সটিডিএমএল) প্রদান করে, পদ্ধতি প্রচার সহজতর করে

প্রয়োগযোগ্য দৃশ্যকল্প

१. নীতি মূল্যায়ন: সময়-অপরিবর্তনীয় বিভ্রান্তি নিয়ন্ত্রণ প্রয়োজন এমন নীতি প্রভাব মূল্যায়নে প্রয়োগযোগ্য २. শ্রম অর্থনীতি: শিক্ষা রিটার্ন, মজুরি প্রভাব এবং অন্যান্য দীর্ঘমেয়াদী অনুসরণ অধ্যয়ন ३. উন্নয়ন অর্থনীতি: উন্নয়ন হস্তক্ষেপ ব্যবস্থার দীর্ঘমেয়াদী প্রভাব মূল্যায়ন ४. স্বাস্থ্য অর্থনীতি: চিকিৎসা নীতি এবং হস্তক্ষেপের অনুদৈর্ঘ্য প্রভাব বিশ্লেষণ

সংদর্ভ

१. চার্নোজুকভ, ভি., এট আল. (२०१८). চিকিৎসা এবং কাঠামোগত পরামিতির জন্য দ্বিগুণ/ডিবায়াসড মেশিন লার্নিং। দ্য ইকোনোমেট্রিক্স জার্নাল। २. রবিনসন, পি. এম. (१९८८). মূল-এন-সামঞ্জস্যপূর্ণ আধা-প্যারামেট্রিক রিগ্রেশন। ইকোনোমেট্রিকা। ३. অ্যাথে, এস., এবং ইম্বেন্স, জি. (२०१६). বৈষম্যমূলক কার্যকারণ প্রভাবের জন্য পুনরাবৃত্তিমূলক বিভাজন। পিএনএএস। ४. উলড্রিজ, জে. এম. (२०१९). অসম প্যানেল সহ সম্পর্কিত র‍্যান্ডম ইফেক্ট মডেল। জার্নাল অফ ইকোনোমেট্রিক্স।

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের অর্থনীতিবিদ্যা পদ্ধতি পেপার যা দ্বিগুণ মেশিন লার্নিং কাঠামোকে প্যানেল ডেটা সেটিংয়ে সফলভাবে প্রসারিত করে। পেপারটি তাত্ত্বিক উন্নয়ন, পদ্ধতি উদ্ভাবন এবং অভিজ্ঞতামূলক যাচাইকরণের ক্ষেত্রে চমৎকার কর্মক্ষমতা প্রদর্শন করে, জটিল প্যানেল ডেটা পরিচালনার জন্য গুরুত্বপূর্ণ সরঞ্জাম প্রদান করে। যদিও কিছু প্রযুক্তিগত বিবরণে উন্নতির অবকাশ রয়েছে, তবে ক্ষেত্রে এর অবদান উল্লেখযোগ্য।