2025-11-17T03:40:13.370820

Studies with impossible languages falsify LMs as models of human language

Bowers, Mitchell
According to Futrell and Mahowald [arXiv:2501.17047], both infants and language models (LMs) find attested languages easier to learn than impossible languages that have unnatural structures. We review the literature and show that LMs often learn attested and many impossible languages equally well. Difficult to learn impossible languages are simply more complex (or random). LMs are missing human inductive biases that support language acquisition.
academic

不可能言語に関する研究は言語モデルを人間の言語のモデルとして反証する

基本情報

  • 論文ID: 2511.11389
  • タイトル: Studies with impossible languages falsify LMs as models of human language
  • 著者: Jeffrey S. Bowers (ブリストル大学)、Jeff Mitchell (サセックス大学)
  • 分類: cs.CL (計算言語学)
  • 論文タイプ: Futrell & Mahowald (近刊)への論評、Behavioural and Brain Sciences
  • 論文リンク: https://arxiv.org/abs/2511.11389

要約

本論文は、言語モデル(LMs)と人間の言語学習に関するFutrell と Mahowald (F&M)の論文への論評である。F&Mは、乳幼児と言語モデルの両者が、自然でない構造を持つ「不可能言語」よりも実在言語の方が学習しやすいと主張している。著者らは文献レビューを通じて、LMsが実在言語と多くの不可能言語を同等の容易さで学習できることを示している。学習が困難な不可能言語は、単により複雑またはランダムなだけである。著者らは、LMsが人間の言語習得を支える帰納バイアス(inductive biases)を欠いていると主張している。

研究背景と動機

核心的問題

本論文は、根本的な理論的問題に焦点を当てている：言語モデル(LMs)は人間の言語習得の適切なモデルであるか？

問題の重要性

  1. 言語習得速度の謎：乳幼児は驚異的な速度で言語を学習でき、これは言語習得モデルが直面する中核的課題である
  2. 理論的論争の焦点：Chomskyの普遍文法(Universal Grammar, UG)理論は、人間が先天的な言語帰納バイアスを持つと主張し、これはすべての実在言語の構造を制約するだけでなく、児童が迅速に言語を学習することを可能にする
  3. LMsの課題：ChatGPTなどの大規模言語モデルは人間のような先験的知識を欠いているにもかかわらず、多くの言語タスクで優れた性能を示しており、従来の言語学理論に対する疑問を生じさせている

既存アプローチの限界

  1. F&Mの見方：LMsは人間と同様に、実在言語が不可能言語よりも学習しやすいと主張し、LMsが人間の言語と一致する帰納バイアスを持つことを暗示している
  2. Chomskyの批判：LMsが人間が可能とする言語と不可能とする言語を同等の容易さで学習できることは、人間の言語モデルとしての最も深刻な欠陥であると主張している
  3. 文献解釈の相違：同じ研究に対する異なる解釈が相反する結論をもたらしている

研究動機

著者らは、LMsが不可能言語を学習する能力に関する実証的証拠を体系的に文献レビューを通じて明確にし、F&Mの見方に異議を唱え、LMsが人間の言語帰納バイアスを欠いているというChomskyの主張を支持することを目指している。

核心的貢献

  1. 体系的文献レビュー：LMsが不可能言語を学習することに関する最近の研究を包括的に検討し再分析する
  2. 実証的証拠の明確化：F&Mによる既存研究の誤読を明らかにし、LMsが実際には多くの不可能言語を容易に学習できることを指摘する
  3. 理論的区別：「学習困難」と「構造的複雑性/ランダム性」を区別し、学習が困難な不可能言語は単により複雑またはランダムなだけであると論証する
  4. Chomskyの主張を支持：LMsが人間特有の言語学習帰納バイアスを欠いていることを示す証拠を提供する
  5. 方法論的批判：「ノーフリーランチ定理」の適用可能性を指摘し、LMsが特定の言語で性能が低いことは驚くべきことではないと論証する

方法の詳細説明

タスク定義

本論文は新しい方法を提案するのではなく、批判的文献レビューを実施している。核心的なタスクは以下の通りである：

  • 入力：LMsが不可能言語を学習することに関する最近の実証研究
  • 出力：これらの研究の体系的な再解釈と理論的分析
  • 目標：LMsが人間と同様に不可能言語の学習が困難であるかどうかを評価する

分析フレームワーク

1. 不可能言語の定義

  • 実在言語(Attested Languages)：人間が実際に使用する自然言語
  • 不可能言語(Impossible Languages)：普遍文法の制約に違反する人工的に構築された言語（例：語順が完全に逆転した言語）
  • 複雑/ランダム言語：構造を欠くか、複数のランダムな規則を含む言語

2. 評価基準

著者らは以下の基準を使用してLMsの学習性能を評価している：

  • 学習速度：LMsが異なるタイプの言語を学習するのに必要な訓練データ量
  • 最終性能：異なる言語でLMsが達成する最終的な性能
  • 比較分析：実在言語 vs. 不可能言語 vs. ランダム/複雑言語

3. 理論的フレームワーク

  • Chomskyの予測：LMsがUGを欠いている場合、不可能言語を同等の容易さで学習できるはずである
  • F&Mの反論：LMsが人間と一致する学習選好を示すと主張している
  • 「ノーフリーランチ定理」：特定のデータクラスで性能が良い学習アルゴリズムは必然的に他のデータで性能が低い

技術的革新点

本論文の革新は技術的方法ではなく、理論的分析の深さにある：

  1. 言語タイプの区別：「UGに違反する不可能言語」と「ランダム/複雑言語」を明確に区別する
  2. 実証的結果の再解釈：F&Mなどが言語の複雑性と言語の可能性を混同していることを指摘する
  3. 理論的一貫性の検証：「ノーフリーランチ定理」を使用して、LMsが特定の言語で性能が低いことは必然的であり、人間のような帰納バイアスを持つことの証拠として機能できないと論証する

実験設定

本論文は新しい実験を含まず、既発表研究の再分析である。著者らは以下の研究を体系的に検討している：

検討された研究

1. Kallini et al. (2024)

  • 実験設計：LMsが英語と複数の不可能言語を学習する能力をテストする
  • F&Mの解釈：LMsが実在英語テキストを学習する速度は常にベースライン不可能言語より速い
  • 著者らの再分析：
    • 2つの学習困難な不可能言語が報告されているが、多くの不可能言語は英語とほぼ同等の容易さで学習できる
    • Mitchell & Bowers (2020)が設計した不可能言語を含む
    • 最も学習困難な不可能言語はランダム語順シャッフル（学習可能な構造がない）
    • もう1つの学習困難言語は決定論的ランダムシャッフル（異なる文長に異なるシャッフル規則を使用し、複数のランダム言語を学習することに相当）

2. Yang et al. (2025)

  • 実験設計：決定論的シャッフル言語を含む複数の不可能言語でのLMsの性能を評価する
  • 発見：多くの不可能言語は容易に学習でき、ランダムシャッフル言語は困難である
  • 著者の批判：著者らは、Chomskyがランダムシャッフル言語を学習できるとLMsが予測すべきだと誤って信じているが、異なるランダム言語（異なる文長用）を学習することは理論的に困難である

3. Xu et al. (2025)

  • 実験設計：言語の不可能性ではなく妥当性(plausibility)を変化させる
  • 発見：LMsは特定の非妥当言語で困難を示すが、他の場合は容易に学習できる
  • 著者が指摘した問題：研究者自身が材料構築に誤りがある可能性を認めており、反事実コーパスにノイズが増加している

4. Ziv et al. (2025)

  • 発見：複数のLMsが容易に学習できる不可能言語を報告している。これには部分的に逆転した言語が含まれ、Mitchell & Bowers (2020)の結果を複製している

5. Lou et al. (2024)（F&Mに引用されていない）

  • 発見：LMsは完全に逆転した言語を容易に学習できる

データ集計

研究学習容易な不可能言語学習困難な言語タイプ主要な問題
Kallini et al.複数、MB2020の言語を含むランダムシャッフル、決定論的多重シャッフル困難な言語はランダム/複雑
Yang et al.複数決定論的多重シャッフル複雑性と不可能性を混同
Xu et al.部分的に非妥当な言語部分的に非妥当な言語材料構築に誤りの可能性
Ziv et al.部分的に逆転した言語など-Chomskyの見方を支持
Lou et al.完全に逆転した言語-Chomskyの見方を支持

実験結果

主要な発見

1. LMsは頻繁に不可能言語を容易に学習できる

  • Mitchell & Bowers (2020)が設計した不可能言語は学習容易であることが確認されている
  • 部分的に逆転した言語（Ziv et al., 2025）は容易に学習できる
  • 完全に逆転した言語（Lou et al., 2024）は容易に学習できる
  • KalliniおよびYangらは、学習容易な不可能言語の複数を報告している

2. 学習困難な「不可能言語」は実際には複雑/ランダム言語である

  • 完全ランダムシャッフル：学習可能な構造がない
  • 決定論的多重シャッフル：複数の異なるランダムマッピング規則を学習する必要がある（各文長に1つ）
  • これらの言語の困難さは複雑性とランダム性に由来し、UG違反ではない

3. データ効率の大きな差異

著者らはBowers (2025a)を引用して指摘している：

  • LMsは乳幼児より数桁多い訓練データを必要とする
  • これは人間の帰納バイアスの欠如と一致している

4. UGを誘導する試みの効果は限定的

McCoy & Griffiths (2025)がベイズ事前分布をLMsに蒸留しようとした：

  • データ効率を大幅に改善できなかった（Bowers, 2025b）

理論的分析

「ノーフリーランチ定理」の適用

著者らはWolpert & Macready (2002)の理論を引用している：

  • 核心的観点：特定のデータクラスで性能が良い学習アルゴリズムは必然的に他のデータで性能が低い
  • 推論：LMsが特定の言語（ランダムシャッフルなど）で性能が低いことは必然的であり、実証的確認を必要としない
  • 重要な区別：特定の言語で性能が低い≠人間のような帰納バイアスを持つ
  • 反証論理：特定の不可能言語を成功裏に学習することは、LMsが人間の言語学習の適切なモデルであることを反証する

ケース分析

ケース1：Kallini et al.の決定論的シャッフル言語

元の文（長さ5）：The cat sat on mat
シャッフル規則1（長さ5）：cat The on sat mat
元の文（長さ6）：The big cat sat on mat
シャッフル規則2（長さ6）：big The sat cat mat on

分析：この言語を学習することは、複数の異なるランダムマッピングを学習することに相当し、複雑性は文長の種類とともに線形に増加する。これはUG偏置をテストするのではなく、複数の任意のマッピングを記憶する能力をテストしている。

ケース2：Mitchell & Bowers (2020)の部分的に逆転した言語

特定の語順規則が体系的に逆転されるが、一貫性は保たれる。 発見：LMsは容易に学習でき、この種の言語を排除する帰納バイアスを欠いていることを示唆している。

関連研究

言語習得理論

1. Chomskyの普遍文法(UG)

  • 人間は先天的な言語特異的帰納バイアスを持つ
  • UGの制約は人間の言語構造の可能性を制限する
  • 児童が言語を迅速に学習することを可能にする

2. 統計学習理論

  • 入力データから統計的規則性を抽出することを強調する
  • LMsは統計学習の究極の表現と見なされている

LMsと人間の言語学習の比較研究

LMsを支持する研究

  • F&Mおよびその引用研究は、LMsが人間のような学習選好を示すと主張している

LMsを批判する研究

  • Mitchell & Bowers (2020)：LMsが不可能言語を学習できることを初めて体系的に示した
  • Chomsky et al. (2023)：LMsが可能性と不可能性を区別する能力を欠いていることを批判している
  • Bowers (2025a)：LMsのデータ効率が人間より大幅に低いことを強調している

本論文の位置づけ

本論文はChomsky伝統言語学の立場に立ち、実証研究の再分析を通じて、接続主義/統計学習陣営の最新の論証に異議を唱えている。

結論と議論

主要な結論

  1. 実証的証拠はF&Mの見方を支持しない：LMsは頻繁に実在言語と不可能言語を同等の容易さで学習できる
  2. 学習困難な「不可能言語」は複雑/ランダムである：学習困難さはUG違反ではなく複雑性に由来する
  3. LMsは人間の帰納バイアスを欠いている：学習容易な不可能言語とデータ効率の低さの証拠を組み合わせると、LMsの学習パターンは人間と根本的に異なっている
  4. 「ノーフリーランチ」は支持証拠として機能できない：LMsが特定の言語で性能が低いことは必然的であり、人間のような偏置を持つことを証明できない
  5. LMsは人間の言語習得の適切なモデルではない：現在のLMsの学習方法は、人間の先天的言語偏置の欠如によって予測される通りである

限界

論文自体の限界

  1. 新しい実証データなし：文献レビューのみに基づき、新しい実験検証がない
  2. 不可能言語の定義の曖昧性：異なる研究が「不可能言語」の操作的定義を異なる方法で使用している
  3. メカニズムの深い探求がない：LMsが不可能言語を学習できる理由の内部メカニズムを詳細に分析していない
  4. サンプルサイズが限定的：検討された研究の数は比較的少ない（主に5つの最近の論文）

研究分野の限界

  1. 不可能言語の生態学的妥当性：人工的に構築された不可能言語はUGの制約を完全に捉えられない可能性がある
  2. LMsの多様性：異なるアーキテクチャのLMsは異なる性能を示す可能性があるが、論文は十分に区別していない
  3. 測定の問題：「学習困難さ」を正確に測定する方法についてはまだ議論がある

今後の方向性

論文が明示的に提案する方向

  1. より厳密な不可能言語の設計：UG違反をより正確に操作化する必要がある
  2. メカニズム研究：LMsが不可能言語を学習する内部表現とプロセスを理解する

暗黙的な研究方向

  1. モデル間比較：異なるアーキテクチャのLMsの帰納バイアスを体系的に比較する
  2. 発達軌跡研究：LMsと児童の学習曲線を比較する
  3. ハイブリッドモデル：言語学的先験知識をLMsに統合する方法を探索する
  4. 神経科学的検証：脳画像研究を使用して、人間が不可能言語を処理する神経メカニズムを検証する

深い評価

利点

1. 理論的明確性が高い

  • 「複雑性」と「不可能性」を明確に区別し、これは重要な概念的澄清である
  • 「ノーフリーランチ定理」を正しく適用し、論理的誤謬を明らかにしている

2. 文献分析が深い

  • 引用研究の結論を読むだけでなく、実験設計とデータを深く分析している
  • F&Mの選択的引用と誤読の問題を発見している

3. 論理的論証が厳密

  • 反証論理を使用：不可能言語を成功裏に学習することは、LMsが人間のモデルであることを反証する
  • 対手の論証の非対称性を指摘：特定の言語の学習困難さは人間のような偏置を証実できない

4. 学術的誠実性

  • Xu et al.の研究者自身が指摘した材料の問題を認めている
  • 各方の見方を公正に提示している

5. 理論的意義が大きい

  • 言語学の中核的争論に触れている：先天性vs.後天性、UG vs.統計学習
  • AI分野にも示唆を与えている：LMsの能力の境界

不足

1. 実証的基礎が弱い

  • 新しいデータなし：他者の研究の再解釈に完全に依存している
  • 選択的である可能性：F&Mの選択的引用を批判しているが、自身の文献選択も偏っている可能性がある
  • 定量的統合がない：メタ分析や体系的定量レビューを実施していない

2. 概念の操作化が不十分

  • 「不可能言語」の定義が曖昧：異なる研究が異なる定義を使用しており、論文はこの問題を十分に議論していない
  • 「学習容易」vs「学習困難」の基準：明確な定量基準を提供していない
  • 「複雑性」の測定：言語の複雑性をどのように定量化するか？

3. 論証の限界

  • 決定論的シャッフル言語の論証：複雑性を指摘しているが、この複雑性がUG違反と完全に無関係であるかどうかはまだ議論の余地がある
  • 「ノーフリーランチ」の適用可能性：この定理は最適化問題に適用され、言語学習への直接的な適用にはより多くの論証が必要である
  • 代替説明を考慮していない：LMsは他のタイプの帰納バイアス（局所性選好など）を持つ可能性があり、UGとは異なるだけである

4. メカニズムの深い探求がない

  • ブラックボックス分析：入出力からのみ判断し、LMs内部表現を分析していない
  • 建設的な提案がない：批判は多いが、LMsを改善する方法については提案していない

5. 論争的な色彩が強い

  • 立場が明確：Chomskyの側に明らかに立っており、客観性に影響する可能性がある
  • 対手研究への批判が厳しい：「誤読」「誤り」などと指摘しており、学術的議論の語調をより穏やかにすることができる

6. サンプルサイズと代表性

  • 主要論文5篇のみ検討：サンプルサイズが小さい
  • 時間枠が狭い：主に2020～2025年の研究
  • モデルタイプが単一：主にTransformerタイプのLMsに焦点を当てている

影響力評価

分野への貢献

  1. 理論的澄清：重要な概念的区別（複雑性vs.不可能性）
  2. 方法論的貢献：実験設計における一般的な落とし穴を指摘している
  3. 議論の推進：より厳密な実験設計とより深い理論的議論を促進する

潜在的影響

  • 短期：F&Mおよび関連研究者からの回応を引き起こし、学術的議論を推進する可能性がある
  • 中期：研究者がより厳密な不可能言語実験を設計するよう促す
  • 長期：認知科学におけるLMsの地位の評価に影響を与える可能性がある

実用的価値

  • AI研究への示唆：LMsの帰納バイアスを理解することはモデルの改善に価値がある
  • 教育への示唆：LMsの学習方法が人間と異なる場合、言語教育のシミュレーションに直接使用できない

再現可能性

  • 高い：論文は主に文献レビューであり、引用されたすべての研究は既に発表されており、読者は著者の分析を検証できる

適用場面

適切な読者グループ

  1. 理論言語学者：UGと言語習得理論に関心がある
  2. 計算言語学者：LMsの能力と限界を研究している
  3. 認知科学者：人間の言語処理の計算モデルに関心がある
  4. AI研究者：LMsの帰納バイアスを改善する方法を考えている

適用可能な研究場面

  1. 不可能言語実験の設計：重要な方法論的指導を提供している
  2. LMsの認知的妥当性の評価：理論的フレームワークを提供している
  3. 言語学理論の争論：先天性論に支持を提供している

適用不可能な場面

  1. 工学的応用：実際のLMs応用にはほとんど役に立たない
  2. 非言語分野：言語学習に特有の論証である

参考文献（重点）

核心的争論文献

  1. Chomsky et al. (2023): "The False Promise of ChatGPT" - LMsに対するChomskyの古典的批判
  2. Futrell & Mahowald (2025): 評論の対象論文、LMsを支持する見方を代表している

重要な実証研究

  1. Mitchell & Bowers (2020): LMsが不可能言語を学習できることを初めて体系的に示した研究
  2. Kallini et al. (2024): "Mission: Impossible language models" - 最も包括的な実証研究の1つ
  3. Yang et al. (2025): 言語間の不可能言語学習研究

理論的基礎

  1. Wolpert & Macready (2002): "No free lunch theorems" - 機械学習の基礎理論
  2. McCoy & Griffiths (2025): ベイズ事前分布をLMsに統合しようとした研究

著者自身の関連研究

  1. Bowers (2025a): LMsのデータ効率の体系的分析
  2. Bowers (2025b): McCoy & Griffithsへの論評

総合評価

これは理論的立場が明確で、論理的論証が厳密であるが、実証的基礎が比較的弱い評論論文である。著者らは既存文献の深い分析を通じて、「LMsが人間のような言語帰納バイアスを持つ」という見方に力強く異議を唱え、Chomskyの伝統言語学的立場を支持している。

最大の価値は、その概念的澄清（複雑性と不可能性の区別）と論理的分析（反証論理と「ノーフリーランチ定理」の適用）にあり、これは該当分野の方法論に重要な貢献をしている。

主な限界は、新しい実証データの欠如とLMs内部メカニズムの深い分析がないことである。評論論文としてはこれは理解できるが、説得力を制限している。

本論文は言語学とAI分野におけるLMsの本質に関する深い議論を促進し、より厳密な実験設計を推進するが、おそらく両陣営の基本的立場を直ちに変えることはないだろう。この争論の解決には、より多くの実証研究、より正確な理論的フレームワーク、そして神経科学からの独立した証拠が必要である可能性がある。

推奨指数: ⭐⭐⭐⭐ (4/5)

  • 理論的貢献：⭐⭐⭐⭐⭐
  • 実証的充分性：⭐⭐⭐
  • 方法的革新性：⭐⭐⭐
  • 実用的価値：⭐⭐⭐
  • 執筆品質：⭐⭐⭐⭐