Studies with impossible languages falsify LMs as models of human language
Bowers, Mitchell
According to Futrell and Mahowald [arXiv:2501.17047], both infants and language models (LMs) find attested languages easier to learn than impossible languages that have unnatural structures. We review the literature and show that LMs often learn attested and many impossible languages equally well. Difficult to learn impossible languages are simply more complex (or random). LMs are missing human inductive biases that support language acquisition.
academic
असंभव भाषाओं के साथ अध्ययन भाषा मॉडल को मानव भाषा के मॉडल के रूप में खारिज करते हैं
यह पेपर Futrell और Mahowald (F&M) द्वारा भाषा मॉडल और मानव भाषा सीखने पर लिखे गए पेपर की टिप्पणी है। F&M का दावा है कि शिशु और भाषा मॉडल (LMs) दोनों को वास्तविक भाषाएं गैर-प्राकृतिक संरचना वाली "असंभव भाषाओं" की तुलना में सीखना आसान लगता है। लेखक साहित्य समीक्षा के माध्यम से दर्शाते हैं कि LMs अक्सर वास्तविक भाषाओं और कई असंभव भाषाओं दोनों को समान आसानी से सीख सकते हैं। जो असंभव भाषाएं सीखना कठिन हैं वे केवल अधिक जटिल या यादृच्छिक हैं। लेखक तर्क देते हैं कि LMs में मानव भाषा अधिग्रहण का समर्थन करने वाले आगमनात्मक पूर्वाग्रह (inductive biases) का अभाव है।
भाषा अधिग्रहण की गति की पहेली: शिशु आश्चर्यजनक गति से भाषा सीख सकते हैं, जो भाषा अधिग्रहण मॉडल के लिए मुख्य चुनौती है
सैद्धांतिक विवाद का केंद्र: Chomsky का सार्वभौमिक व्याकरण (Universal Grammar, UG) सिद्धांत मानता है कि मनुष्य के पास भाषा के लिए जन्मजात आगमनात्मक पूर्वाग्रह हैं, जो न केवल सभी वास्तविक भाषाओं की संरचना को सीमित करते हैं बल्कि बच्चों को तेजी से सीखने में सक्षम बनाते हैं
LMs की चुनौती: ChatGPT जैसे बड़े भाषा मॉडल में मानव जैसे पूर्व ज्ञान का अभाव है, फिर भी वे कई भाषा कार्यों पर उत्कृष्ट प्रदर्शन करते हैं, जो पारंपरिक भाषाविज्ञान सिद्धांत को चुनौती देता है
F&M का दृष्टिकोण: दावा करते हैं कि LMs और मनुष्य दोनों को असंभव भाषाओं की तुलना में वास्तविक भाषाएं सीखना आसान लगता है, जो सुझाता है कि LMs में मानव भाषा के साथ संरेखित आगमनात्मक पूर्वाग्रह हैं
Chomsky की आलोचना: मानते हैं कि LMs मानव संभव और असंभव दोनों भाषाओं को समान आसानी से सीख सकते हैं, जो मानव भाषा मॉडल के रूप में इसकी सबसे गहरी खामी है
साहित्य व्याख्या में विभाजन: समान अनुसंधान की विभिन्न व्याख्याएं विरोधाभासी निष्कर्षों की ओर ले जाती हैं
लेखक LMs द्वारा असंभव भाषाओं को सीखने की क्षमता के बारे में प्रायोगिक साक्ष्य को स्पष्ट करने के लिए व्यवस्थित साहित्य समीक्षा के माध्यम से F&M के दृष्टिकोण को चुनौती देना और Chomsky के बारे में LMs में मानव भाषा आगमनात्मक पूर्वाग्रह की कमी के दावे का समर्थन करना चाहते हैं।
व्यवस्थित साहित्य समीक्षा: LMs द्वारा असंभव भाषाओं को सीखने पर हाल के अनुसंधान की व्यापक समीक्षा और पुनः विश्लेषण
प्रायोगिक साक्ष्य को स्पष्ट करना: F&M द्वारा मौजूदा अनुसंधान की गलत व्याख्या को उजागर करना, यह दर्शाते हुए कि LMs वास्तव में कई असंभव भाषाओं को आसानी से सीख सकते हैं
सैद्धांतिक विश्लेषण: "सीखना कठिन" बनाम "संरचनात्मक रूप से जटिल/यादृच्छिक" के बीच अंतर करना, यह तर्क देते हुए कि कठिन असंभव भाषाएं केवल अधिक जटिल या यादृच्छिक हैं
Chomsky के दावे का समर्थन: साक्ष्य प्रदान करना कि LMs में मानव-विशिष्ट भाषा सीखने के आगमनात्मक पूर्वाग्रह की कमी है
पद्धति संबंधी आलोचना: "कोई मुफ्त दोपहर का भोजन नहीं" प्रमेय की प्रयोज्यता को इंगित करना, यह तर्क देते हुए कि कुछ भाषाओं पर LMs का खराब प्रदर्शन आश्चर्यजनक नहीं है
वास्तविक भाषाएं (Attested Languages): मनुष्य द्वारा वास्तव में उपयोग की जाने वाली प्राकृतिक भाषाएं
असंभव भाषाएं (Impossible Languages): सार्वभौमिक व्याकरण के बाधाओं का उल्लंघन करने वाली कृत्रिम रूप से निर्मित भाषाएं, जैसे पूरी तरह से उलटे शब्द क्रम वाली भाषाएं
जटिल/यादृच्छिक भाषाएं: संरचना की कमी या कई यादृच्छिक नियमों वाली भाषाएं
इस पेपर का नवाचार तकनीकी विधि में नहीं बल्कि सैद्धांतिक विश्लेषण की गहराई में है:
भाषा प्रकारों को अलग करना: "UG का उल्लंघन करने वाली असंभव भाषाओं" को "यादृच्छिक/जटिल भाषाओं" से स्पष्ट रूप से अलग करना
प्रायोगिक परिणामों की पुनः व्याख्या: यह इंगित करना कि F&M आदि भाषा की जटिलता को भाषा की संभावना के साथ मिलाते हैं
सैद्धांतिक सुसंगतता जांच: "कोई मुफ्त दोपहर का भोजन नहीं" प्रमेय का उपयोग करके यह तर्क देना कि कुछ भाषाओं पर LMs का खराब प्रदर्शन आवश्यक है, न कि इसके मानव जैसे आगमनात्मक पूर्वाग्रह होने के सबूत के रूप में
प्रायोगिक डिजाइन: LMs द्वारा अंग्रेजी और कई असंभव भाषाओं को सीखने की क्षमता का परीक्षण
F&M की व्याख्या: LMs वास्तविक अंग्रेजी पाठ को सीखना हमेशा आधारभूत असंभव भाषाओं से तेजी से करते हैं
लेखकों की पुनः व्याख्या:
हालांकि दो कठिन असंभव भाषाओं की रिपोर्ट की गई है, लेकिन कई असंभव भाषाएं अंग्रेजी जितनी आसानी से सीखी जाती हैं
Mitchell & Bowers (2020) द्वारा डिजाइन की गई एक असंभव भाषा सहित
सबसे कठिन असंभव भाषा यादृच्छिक शब्द क्रम अनुक्रमण है (कोई संरचना नहीं सीखने के लिए)
एक अन्य कठिन भाषा निर्धारक यादृच्छिक अनुक्रमण है (विभिन्न वाक्य लंबाई के लिए विभिन्न अनुक्रमण नियम उपयोग करते हैं, जो कई यादृच्छिक भाषाओं को सीखने के बराबर है)
प्रायोगिक डिजाइन: कई असंभव भाषाओं पर LMs के प्रदर्शन का मूल्यांकन, निर्धारक अनुक्रमण भाषाओं सहित
निष्कर्ष: कई असंभव भाषाएं आसानी से सीखी जाती हैं, यादृच्छिक अनुक्रमण भाषाएं कठिन हैं
लेखकों की आलोचना: लेखकों का गलत विचार है कि Chomsky भविष्यवाणी करते हैं कि LMs यादृच्छिक अनुक्रमण भाषाओं को सीख सकते हैं, लेकिन कई अलग-अलग यादृच्छिक भाषाओं को सीखना (विभिन्न वाक्य लंबाई के लिए) किसी भी सिद्धांत के तहत कठिन है
प्रायोगिक डिजाइन: भाषा की प्रशंसनीयता (plausibility) को बदलना, असंभवता को नहीं
निष्कर्ष: LMs कुछ अप्रशंसनीय भाषाओं पर कठिन हैं, लेकिन अन्य मामलों में आसानी से सीखते हैं
लेखकों द्वारा ध्यान दिया गया समस्या: शोधकर्ताओं ने स्वयं स्वीकार किया कि सामग्री निर्माण में त्रुटियां हो सकती हैं, जिससे प्रतिकथन कॉर्पस में शोर बढ़ता है
निष्कर्ष: कई असंभव भाषाओं की रिपोर्ट करते हैं जो LMs आसानी से सीख सकते हैं, आंशिक रूप से उलटी भाषाओं सहित (Mitchell & Bowers, 2020 के परिणामों को दोहराया)
मूल वाक्य (लंबाई 5): The cat sat on mat
अनुक्रमण नियम 1 (लंबाई 5): cat The on sat mat
मूल वाक्य (लंबाई 6): The big cat sat on mat
अनुक्रमण नियम 2 (लंबाई 6): big The sat cat mat on
विश्लेषण: इस भाषा को सीखना कई अलग-अलग यादृच्छिक मानचित्रणों को सीखने के बराबर है, जटिलता वाक्य लंबाई के प्रकारों के साथ रैखिक रूप से बढ़ती है। यह UG पूर्वाग्रह का परीक्षण नहीं है, बल्कि कई मनमाने मानचित्रणों को याद रखने की क्षमता का परीक्षण है।
कुछ शब्द क्रम नियमों को व्यवस्थित रूप से उलटा दिया जाता है, लेकिन सुसंगतता बनाए रखते हैं।
निष्कर्ष: LMs इसे आसानी से सीख सकते हैं, यह दर्शाता है कि उनमें इस प्रकार की भाषाओं को बाहर करने वाले आगमनात्मक पूर्वाग्रह की कमी है।
यह पेपर Chomsky की पारंपरिक भाषाविज्ञान परंपरा के पक्ष में है, प्रायोगिक अनुसंधान की पुनः व्याख्या के माध्यम से संयोजनवाद/सांख्यिकीय सीखने पक्ष के नवीनतम तर्कों का खंडन करता है।
प्रायोगिक साक्ष्य F&M के दृष्टिकोण का समर्थन नहीं करते: LMs अक्सर वास्तविक भाषाओं और असंभव भाषाओं दोनों को समान आसानी से सीख सकते हैं
कठिन "असंभव भाषाएं" जटिल/यादृच्छिक हैं: सीखने की कठिनाई UG के उल्लंघन से नहीं बल्कि जटिलता से आती है
LMs में मानव आगमनात्मक पूर्वाग्रह की कमी है: आसानी से सीखी जाने वाली असंभव भाषाओं और कम डेटा दक्षता के साक्ष्य को मिलाकर, LMs का सीखने का तरीका मनुष्य से मौलिक रूप से अलग है
"कोई मुफ्त दोपहर का भोजन नहीं" समर्थन साक्ष्य नहीं हो सकता: कुछ भाषाओं पर LMs का खराब प्रदर्शन आवश्यक है, यह मानव जैसे पूर्वाग्रह होने का प्रमाण नहीं दे सकता
LMs मानव भाषा अधिग्रहण के उपयुक्त मॉडल नहीं हैं: वर्तमान LMs का सीखने का तरीका ठीक वही है जो मानव भाषा आगमनात्मक पूर्वाग्रह की कमी से अपेक्षित है
यह एक सैद्धांतिक स्थिति स्पष्ट, तार्किक तर्क कठोर, लेकिन प्रायोगिक आधार अपेक्षाकृत कमजोर टिप्पणी पेपर है। लेखक मौजूदा साहित्य के गहन विश्लेषण के माध्यम से "LMs में मानव जैसे भाषा आगमनात्मक पूर्वाग्रह हैं" के दृष्टिकोण को शक्तिशाली रूप से चुनौती देते हैं, Chomsky की पारंपरिक भाषाविज्ञान स्थिति का समर्थन करते हैं।
सबसे बड़ा मूल्य इसके अवधारणा स्पष्टीकरण (जटिलता बनाम असंभवता को अलग करना) और तार्किक विश्लेषण (खंडन तर्क और "कोई मुफ्त दोपहर का भोजन नहीं" प्रमेय का अनुप्रयोग) में है, जो इस क्षेत्र की पद्धति के लिए महत्वपूर्ण योगदान है।
मुख्य सीमा नए प्रायोगिक डेटा की कमी और LMs के आंतरिक तंत्र के गहन विश्लेषण की कमी है। एक टिप्पणी पेपर के रूप में, यह समझदारी है, लेकिन इसकी प्रेरक शक्ति को भी सीमित करता है।
यह पेपर भाषाविज्ञान और AI क्षेत्र में LMs की प्रकृति के बारे में गहन चर्चा को प्रोत्साहित करेगा, अधिक कठोर प्रायोगिक डिजाइन को प्रेरित करेगा, लेकिन संभवतः दोनों पक्षों की मौलिक स्थिति को तुरंत नहीं बदलेगा। इस विवाद का समाधान संभवतः अधिक प्रायोगिक अनुसंधान, अधिक सटीक सैद्धांतिक ढांचे, और संभवतः तंत्रिका विज्ञान से स्वतंत्र साक्ष्य की आवश्यकता होगी।