2025-11-18T03:52:12.754014

Towards Understanding Ambiguity Resolution in Multimodal Inference of Meaning

Wang, Kovashka, FernÃ¡ndez et al.

We investigate a new setting for foreign language learning, where learners infer the meaning of unfamiliar words in a multimodal context of a sentence describing a paired image. We conduct studies with human participants using different image-text pairs. We analyze the features of the data (i.e., images and texts) that make it easier for participants to infer the meaning of a masked or unfamiliar word, and what language backgrounds of the participants correlate with success. We find only some intuitive features have strong correlations with participant performance, prompting the need for further investigating of predictive features for success in these tasks. We also analyze the ability of AI systems to reason about participant performance, and discover promising future directions for improving this reasoning ability.

academic

多言語推論における曖昧性解決の理解に向けて

基本情報

論文ID: 2510.09815
タイトル: Towards Understanding Ambiguity Resolution in Multimodal Inference of Meaning
著者: Yufei Wang（ピッツバーグ大学）、Adriana Kovashka（ピッツバーグ大学）、Loretta Fernández（ピッツバーグ大学）、Marc N. Coutanche（ピッツバーグ大学）、Seth Wiener（カーネギーメロン大学）
分類: cs.CV cs.AI
発表日: 2025年10月10日（arXiv プレプリント）
論文リンク: https://arxiv.org/abs/2510.09815

要約

本研究は、学習者が画像とテキストのペアリングという多言語文脈において、未知の単語の意味を推論する必要がある、全く新しい外国語学習シナリオを探索しています。異なる画像テキスト対を用いた人間参加者実験を通じて、データ特性（画像およびテキスト）が参加者による隠された、または未知の単語の意味推論に与える影響、および参加者の言語背景と成功率の相関性を分析しました。研究により、直感的な特性の一部のみが参加者のパフォーマンスと強い相関を示すことが判明し、タスク成功を予測する特性のさらなる研究の必要性が示唆されました。同時に、AI システムが参加者のパフォーマンスを推論する能力を分析し、この推論能力を改善するための有望な方向性を発見しました。

研究背景と動機

問題定義

本研究が解決しようとする中核的な問題は、多言語文脈（画像とペアリングされたテキスト）において、外国語学習者が未知の語彙の意味を推論する難易度に影響を与える要因は何か、また AI システムがこのようなタスクにおける人間のパフォーマンスを効果的に予測できるかどうかです。

重要性

現実的ニーズ: 世界中で10億人以上が第二言語として英語を学習しており、職場での多言語能力の需要が増加している
教育的価値: 没入型および対話型環境は外国語学習の理想的な方法と考えられている
理論的意義: 曖昧性容認度と外国語学習の成功率は密接に関連していますが、多言語文脈における曖昧性解決メカニズムの深い理解が不足している

既存の制限事項

多言語文脈における第二言語学習者の曖昧性処理に関する体系的研究の欠如
特定のデータ特性が学習難度に与える影響についての定量分析の不足
人間の言語学習パフォーマンスを予測する AI システムの能力の探索が必要

研究動機

「最近接発達領域」(ZPD) 理論と「望ましい困難」の概念に基づき、本研究は段階的な課題学習教材を動的に計画できる AI システムの開発を目指し、個別化された外国語学習をサポートします。

核心的貢献

新しいタスク設定: 多言語文脈における語彙意味推論タスクを初めて体系的に研究し、実際の外国語学習シナリオをシミュレートしました
特性分析フレームワーク: テキスト特性、画像特性、および学習者背景特性を含む包括的な分析フレームワークを確立しました
人間実験データ: 5つの言語（スペイン語、フランス語、ドイツ語、韓国語、トルコ語）を含む人間参加者データを収集しました
AI 予測能力評価: 人間の外国語学習パフォーマンスを予測する AI システムの能力を初めて評価し、改善の方向性を発見しました
戦略識別: 学習者が使用する主要な推論戦略を識別および分類しました

方法論の詳細

タスク定義

入力: 画像 I と、隠された名詞を含む目標言語の文 S 出力: 学習者が英語で提供した隠された語彙の意味推測制約: 学習者は翻訳ツールを使用できず、視覚的文脈と文脈に基づいて推論する必要があります

実験設計

第一研究

データ: ランダムに選択された50個の画像テキスト対（スペイン語）
参加者: 8名の参加者（スペイン語初級者7名、中級者1名）
タスク: 穴埋めタスク、隠された名詞の意味を推論

第二研究

データ: 5つの言語を網羅した、慎重に計画された10個の画像テキスト対
参加者: 異なる言語背景を持つ約50名の参加者
拡張機能:
- 参加者の言語熟練度情報を収集（1～5段階）
- 参加者に既知の語彙を識別し、推論プロセスを説明するよう要求
- 韓国語は発音補助のためのローマ字化版を提供