The Curious Case of Curiosity across Human Cultures and LLMs
Borah, Mihalcea
Recent advances in Large Language Models (LLMs) have expanded their role in human interaction, yet curiosity -- a central driver of inquiry -- remains underexplored in these systems, particularly across cultural contexts. In this work, we investigate cultural variation in curiosity using Yahoo! Answers, a real-world multi-country dataset spanning diverse topics. We introduce CUEST (CUriosity Evaluation across SocieTies), an evaluation framework that measures human-model alignment in curiosity through linguistic (style), topic preference (content) analysis and grounding insights in social science constructs. Across open- and closed-source models, we find that LLMs flatten cross-cultural diversity, aligning more closely with how curiosity is expressed in Western countries. We then explore fine-tuning strategies to induce curiosity in LLMs, narrowing the human-model alignment gap by up to 50\%. Finally, we demonstrate the practical value of curiosity for LLM adaptability across cultures, showing its importance for future NLP research.
academic
Le Cas Curieux de la Curiosité à travers les Cultures Humaines et les LLMs
Cet article étudie la manifestation transculturelle de la curiosité dans les modèles de langage de grande taille (LLMs). Les auteurs utilisent un ensemble de données multinationales de Yahoo! Answers et proposent le cadre d'évaluation CUEST (CUriosity Evaluation across SocieTies), qui mesure la cohérence entre les humains et les modèles dans l'expression de la curiosité par le biais du style linguistique, des préférences thématiques et des théories des sciences sociales. L'étude révèle que les LLMs aplatissent les différences transculturelles et tendent à privilégier les modes d'expression de la curiosité des pays occidentaux. Grâce à des stratégies d'ajustement fin, les auteurs réduisent l'écart d'alignement humain-modèle de 50 % et démontrent la valeur pratique de la curiosité pour l'adaptabilité transculturelle des LLMs.
La curiosité est un moteur fondamental de l'apprentissage et de l'exploration humains, se manifestant différemment selon les cultures. Avec l'expansion du rôle des LLMs dans l'interaction homme-machine, leur capacité à exprimer la curiosité devient un facteur important affectant l'expérience utilisateur. Cependant, les recherches existantes se concentrent principalement sur la capacité des LLMs à répondre, en négligeant leur capacité à poser des questions et à exprimer la curiosité, particulièrement dans un contexte transculturel.
Les auteurs proposent trois questions de recherche fondamentales :
Existe-t-il des différences transculturelles dans les questions motivées par la curiosité sur les plateformes en ligne, et les LLMs peuvent-ils reproduire ces modèles ?
Comment induire la curiosité dans les LLMs ?
Quelle est la signification pratique de la curiosité sensible à la culture pour les applications en aval des LLMs ?
Proposition du cadre d'évaluation CUEST : Un système d'évaluation complet combinant l'analyse linguistique, l'analyse de contenu et les fondements théoriques culturels
Construction d'un ensemble de données transculturel sur la curiosité : Ensemble de données de questions réelles de 18 pays couvrant 16 thèmes basé sur Yahoo! Answers
Exploration de stratégies d'induction de la curiosité : Amélioration de la capacité d'expression de la curiosité sensible à la culture des LLMs par diverses méthodes d'ajustement fin
Vérification de la valeur pratique : Démonstration du rôle de la curiosité dans l'amélioration de l'adaptabilité culturelle des LLMs sur trois repères transculturels
Cette recherche définit deux tâches fondamentales :
Évaluation de la curiosité sensible à la culture : Comparaison des modes d'expression des questions entre les humains et les LLMs dans différents contextes culturels
Induction de la curiosité : Amélioration de la capacité des LLMs à poser des questions sensibles à la culture par l'entraînement
Utilisation des coefficients de corrélation de Spearman et Kendall pour comparer les préférences de classement des thèmes entre les humains et les LLMs.
Utilisation de techniques de substitution lexicale et de réorganisation des mots pour augmenter les données d'entraînement à 1000 échantillons par pays.
Alignement des Préférences Thématiques : Seul LLaMA-3-8b affiche une corrélation positive (0,17), tous les autres modèles montrent une corrélation négative
Corpus NatQuest (Ceraolo et al., 2024) : Caractère ouvert et orientation causale des questions naturelles
Recherches sur la Représentation Culturelle : Principalement axées sur l'évaluation des biais et de la perception culturelle, mais manquent d'analyse de la capacité à poser des questions
Les travaux existants testent principalement la capacité à répondre aux questions, utilisant des repères d'enquête (comme WVS, Pew Research). Cet article est le premier à comparer systématiquement les questions humain-LLM transculturelles.
Les LLMs aplatissent les différences culturelles : Les résultats des modèles sont davantage conformes aux normes occidentales, manquant de diversité culturelle
Les humains s'écartent des stéréotypes traditionnels : L'expression réelle de la curiosité est plus complexe que prévu par les théories traditionnelles
L'ajustement fin par adaptateurs est efficace : Performances optimales dans l'évaluation de la curiosité sensible à la culture et intrinsèque
La curiosité améliore l'adaptabilité culturelle : Valeur pratique vérifiée sur plusieurs repères
Couverture de l'ensemble de données limitée : 18 pays et 16 thèmes ne peuvent pas représenter complètement le paysage culturel mondial
Limitations linguistiques : Utilisation principalement de l'anglais, pouvant introduire des biais WEIRD (occidental, éduqué, industrialisé, riche, démocratique)
Limitations du cadre théorique : Les théories comme celle de Hofstede peuvent ne pas capturer les variations culturelles contemporaines ou sous-culturelles
Subjectivité de l'évaluation : L'évaluation de la curiosité et de la pertinence implique des jugements subjectifs
Berlyne, D. E. (1960). Conflict, arousal, and curiosity.
Hofstede, G. (2001). Culture's consequences: Comparing values, behaviors, institutions and organizations across nations.
Loewenstein, G. (1994). The psychology of curiosity: A review and reinterpretation.
Ceraolo, R. et al. (2024). Analyzing human questioning behavior and causal curiosity through natural queries.
Résumé de l'Évaluation : Il s'agit d'une recherche pionnière qui explore systématiquement pour la première fois le problème de la curiosité transculturelle dans les LLMs. Le cadre CUEST est bien conçu, la configuration expérimentale est complète, et les résultats ont une importance théorique et pratique significative. Malgré certaines limitations concernant la couverture des données et la subjectivité de l'évaluation, cette recherche ouvre de nouvelles directions pour la recherche en TAL transculturel et possède une valeur académique et un potentiel d'application élevés.