2025-11-25T03:46:17.872017

Happiness is Sharing a Vocabulary: A Study of Transliteration Methods

Jung, Kim, Kim et al.
Transliteration has emerged as a promising means to bridge the gap between various languages in multilingual NLP, showing promising results especially for languages using non-Latin scripts. We investigate the degree to which shared script, overlapping token vocabularies, and shared phonology contribute to performance of multilingual models. To this end, we conduct controlled experiments using three kinds of transliteration (romanization, phonemic transcription, and substitution ciphers) as well as orthography. We evaluate each model on two downstream tasks -- named entity recognition (NER) and natural language inference (NLI) -- and find that romanization significantly outperforms other input types in 7 out of 8 evaluation settings, largely consistent with our hypothesis that it is the most effective approach. We further analyze how each factor contributed to the success, and suggest that having longer (subword) tokens shared with pre-trained languages leads to better utilization of the model.
academic

Happiness is Sharing a Vocabulary: A Study of Transliteration Methods

基本信息

  • 论文ID: 2510.10827
  • 标题: Happiness is Sharing a Vocabulary: A Study of Transliteration Methods
  • 作者: Haeji Jung, Jinju Kim, Kyungjin Kim, Youjeong Roh, David R. Mortensen
  • 分类: cs.CL cs.AI
  • 发表时间: 2025年10月12日 (arXiv预印本)
  • 论文链接: https://arxiv.org/abs/2510.10827

摘要

音译(Transliteration)已成为多语言NLP中弥合不同语言差距的有前景方法，特别是对使用非拉丁文字的语言表现出色。本研究调查了共享文字、重叠词汇和共享音韵学对多语言模型性能的贡献程度。通过使用三种音译方法(罗马化、音素转录和替换密码)以及正字法进行对照实验，在命名实体识别(NER)和自然语言推理(NLI)两个下游任务上评估模型。结果显示罗马化在8个评估设置中的7个显著优于其他输入类型，与作者假设基本一致。进一步分析表明，与预训练语言共享更长的(子词)标记能更好地利用模型能力。

研究背景与动机

核心问题

本研究要解决的核心问题是**脚本障碍(Script Barrier)**现象：多语言模型在处理不同文字系统的语言时，由于输入表示不匹配而难以在语言间共享知识。

问题重要性

  1. 多语言公平性：大多数预训练语言模型主要基于拉丁文字训练，对非拉丁文字语言支持不足
  2. 知识迁移障碍：即使在大规模多语言模型中，不同文字系统间的知识共享仍然困难
  3. 资源不均衡：非拉丁文字语言往往资源较少，需要更好的跨语言迁移方法

现有方法局限性

  1. 缺乏系统性分析：虽然音译方法(如罗马化、音素转换)在实践中有效，但对其有效性的原因缺乏深入理解
  2. 因素混淆：现有研究未能清晰分离音译中不同因素的贡献
  3. 评估范围有限：多数研究集中在相似语言(如印度语族)，缺乏类型学多样性

研究动机

作者提出核心问题：是共享文字本身还是文字中编码的语言信息帮助模型适应其他语言？

核心贡献

  1. 理论框架：定义了音译效果的三个关键因素——共享字符集、共享标记集和共享音韵学
  2. 系统性实验：在四个语言集合和四种输入类型上进行对照预训练实验
  3. 深入分析：通过词汇重叠分析揭示不同音译方法产生不同重叠模式的机制
  4. 重要发现：证明共享更长标记对跨语言适应的关键作用，提出词汇覆盖度概念

方法详解

任务定义

研究目标是理解音译中不同因素如何影响多语言模型在未见语言上的表现。输入为不同音译方法处理的文本，输出为下游任务性能。

三个关键因素

1. 共享字符集(Shared Character Set)

  • 定义：音译通过统一字符集减少标记器需要捕获的唯一字符和模式
  • 作用：显著降低未知标记(UNK)比例

2. 共享标记集(Shared Token Set)

  • 定义：音译产生跨语言共享的子词标记(长度>1)
  • 重要性：字符序列比单个字符更可能包含语义信息

3. 共享音韵学(Shared Phonology)

  • 定义：音译方法编码的音韵信息程度
  • 作用：使发音相似的词项具有相似表示，识别同源词和借词

四种输入类型

输入类型共享字符集共享标记集共享音韵学
Ortho (正字法)---
IPA (国际音标)±±+
Rom (罗马化)++±
Cipher (替换密码)+--

IPA转换

  • 使用Epitran工具进行基于规则的G2P转换
  • 支持100多种语言，确保一致性和实用性
  • 虽然基于拉丁文字，但不同语言音素库差异导致字符集和标记集部分共享

罗马化(Rom)

  • 使用Uroman工具将各种文字转换为拉丁字母
  • 保留拉丁文字语言的原始形式
  • 编码声音信息但不如IPA精确

替换密码(Cipher)

  • 对罗马化文本应用凯撒密码
  • 每种语言使用不同的移位规则
  • 移除音韵信息但保持字符集共享

语言选择策略

基于lang2vec计算语言相似性，构建四个语言集合：

  • sim-same: 相似语言+相同文字
  • sim-div: 相似语言+不同文字
  • dissim-same: 不同语言+相同文字
  • dissim-div: 不同语言+不同文字

相似性综合考虑句法、地理、遗传和词汇特征。

实验设置

数据集

  • 预训练：Wikipedia语料库，每种语言限制约1000万词
  • 下游任务：
    • NER：WikiAnn数据集
    • NLI：XNLI数据集

模型配置

  • 架构：基于XLM-R的Transformer编码器
  • 参数量：约1.09亿参数
  • 词汇表大小：30K (SentencePiece BPE)
  • 训练：从头预训练16个模型(4种输入类型×4个语言集合)

词汇重叠分析

重叠比例计算公式： OverlapRatio(lt,Ls)=max⁡l∈Ls∣Sl∩Slt∣∣Slt∣\text{OverlapRatio}(l_t, L_s) = \max_{l \in L_s} \frac{|S_l \cap S_{l_t}|}{|S_{l_t}|}

按长度分解的重叠比例： ∣{x∈Sls∩Slt∣len(x)=m}∣∣Slt∣\frac{|\{x \in S_{l_s} \cap S_{l_t} | \text{len}(x) = m\}|}{|S_{l_t}|}

实验结果

主要结果

NER任务表现

  • 未见语言：Rom在所有语言集合上显著优于其他方法
  • 已见语言：Rom与Ortho表现相当
  • 统计显著性：Rom相比其他输入类型p<0.05

NLI任务表现

  • 未见语言：所有音译方法均优于Ortho，Rom表现最佳
  • 已见语言：输入类型间无显著差异

关键发现

  1. UNK标记相关性：未见语言的UNK比例与性能呈强负相关
  2. 音译收益：主要体现在使用未见文字的语言上
  3. 一致性：Rom在7/8个评估设置中表现最佳

深入分析

1. 共享字符集的作用

  • 音译通过统一字符空间大幅降低UNK比例
  • Cipher尽管无语义信息，仅凭字符共享就获得显著收益
  • UNK比例与F1分数呈负相关关系

2. 标记长度的重要性

核心发现：

  • 短标记(包括单字符)重叠与性能负相关
  • 长标记重叠与性能正相关
  • Rom产生最多长标记，解释其优越性能

词汇覆盖度分析：

  • Rom在长度2-4的标记上覆盖度最高
  • 更好的词汇空间利用提升模型容量
  • 词汇覆盖度比标记器肥沃度更好地解释性能差异

3. 共享音韵学的路径作用

  • Cipher缺乏音韵信息，难以产生长标记
  • IPA虽有较多UNK标记，但在未见语言上产生更长共享标记
  • 共享音韵学通过一致的形式-意义映射促进长标记形成

相关工作

脚本障碍研究

  • 大规模多语言模型在处理未见/代表性不足的文字时面临挑战
  • 音译作为改善跨语言迁移的有效手段获得关注

音译方法

  • 罗马化：利用预训练模型中拉丁文字的主导地位
  • G2P转换：将文本转换为IPA音素表示
  • 现有局限：多集中在相似语言，缺乏类型学多样性分析

词汇重叠研究

  • 词汇/子词单元共享允许模型重用学习表示
  • 高UNK标记比例阻碍迁移并降低下游性能
  • 本研究通过长度分解提供更细粒度分析

结论与讨论

主要结论

  1. 罗马化最优：在多数设置中显著优于其他音译方法
  2. 长标记关键：共享更长标记比字符级重叠更重要
  3. 机制解释：音译通过重塑标记分布使多语言模型更具适应性

局限性

  1. 模型范围：仅测试一种Transformer模型和子词标记化方案
  2. 工具依赖：结果可能受特定罗马化器和G2P工具性能影响
  3. 评估范围：可能需要在字符级或字节级模型上验证

未来方向

  1. 扩展到不同模型架构和标记化方案
  2. 探索其他音译工具的影响
  3. 研究标记长度分布对不同任务的影响

深度评价

优点

  1. 理论贡献：首次系统性分解音译效果的关键因素
  2. 实验设计：对照实验设计严谨，控制变量清晰
  3. 分析深度：词汇重叠的长度分解分析提供新颖洞察
  4. 实用价值：为多语言NLP中音译方法选择提供指导

不足

  1. 范围限制：仅在两个任务上评估，泛化性有待验证
  2. 语言覆盖：虽有类型学多样性，但语言数量相对有限
  3. 理论解释：对为什么长标记更有效的理论解释不够深入

影响力

  1. 学术贡献：为音译研究提供新的分析框架
  2. 实用价值：指导低资源语言的多语言模型应用
  3. 可复现性：方法和实验设置描述详细，便于复现

适用场景

  1. 多语言NLP：特别适用于涉及非拉丁文字的应用
  2. 低资源语言：为资源稀缺语言提供有效的迁移学习策略
  3. 跨语言信息检索：统一表示有助于跨语言匹配

参考文献

论文引用了多个重要工作，包括：

  • XLM-R (Conneau et al., 2020)：多语言预训练模型
  • Epitran (Mortensen et al., 2018)：G2P转换工具
  • Uroman (Hermjakob et al., 2018)：通用罗马化工具
  • WikiAnn (Pan et al., 2017)：多语言NER数据集

这项研究通过系统性的对照实验和深入的分析，为理解音译在多语言NLP中的作用机制提供了重要洞察，特别是发现了共享长标记对跨语言适应的关键作用，为该领域的理论发展和实践应用都做出了有价值的贡献。