2025-11-14T03:37:11.054432

Is Research Software Science a Metascience?

Eisinger, Heroux
As research increasingly relies on computational methods, the reliability of scientific results depends on the quality, reproducibility, and transparency of research software. Ensuring these qualities is critical for scientific integrity and discovery. This paper asks whether Research Software Science (RSS)--the empirical study of how research software is developed and used--should be considered a form of metascience, the science of science. Classification matters because it could affect recognition, funding, and integration of RSS into research improvement. We define metascience and RSS, compare their principles and objectives, and examine their overlaps. Arguments for classification highlight shared commitments to reproducibility, transparency, and empirical study of research processes. Arguments against portraying RSS as a specialized domain focused on a tool rather than the broader scientific enterprise. Our analysis finds RSS advances core goals of metascience, especially in computational reproducibility, and bridges technical, social, and cognitive aspects of research. Its classification depends on whether one adopts a broad definition of metascience--any empirical effort to improve science--or a narrow one focused on systemic and epistemological structures. We argue RSS is best understood as a distinct interdisciplinary domain that aligns with, and in some definitions fits within, metascience. Recognizing it as such can strengthen its role in improving reliability, justify funding, and elevate software development in research institutions. Regardless of classification, applying scientific rigor to research software ensures the tools of discovery meet the standards of the discoveries themselves.
academic

La Science des Logiciels de Recherche est-elle une Métascience ?

Informations Fondamentales

  • ID de l'article : 2509.13436
  • Titre : Is Research Software Science a Metascience?
  • Auteurs : Evan Eisinger, Michael A. Heroux
  • Classification : cs.SE (Ingénierie Logicielle)
  • Date de publication : 10 octobre 2025 (arXiv v2)
  • Lien de l'article : https://arxiv.org/abs/2509.13436

Résumé

À mesure que la recherche scientifique dépend davantage des méthodes informatiques, la fiabilité des résultats scientifiques dépend de la qualité, de la reproductibilité et de la transparence des logiciels de recherche. Assurer ces qualités est essentiel pour l'intégrité scientifique et la découverte. Cet article examine si la science des logiciels de recherche (SLR) — l'étude empirique de la façon dont les logiciels de recherche sont développés et utilisés — devrait être considérée comme une forme de métascience (la science de la science). Cette classification est importante car elle pourrait influencer la reconnaissance, le financement et l'intégration de la SLR dans l'amélioration de la recherche. L'article définit la métascience et la SLR, compare leurs principes et objectifs, et examine leurs chevauchements. Les arguments en faveur de la classification soulignent l'engagement commun envers la reproductibilité, la transparence et l'étude empirique du processus de recherche. Les arguments contre décrivent la SLR comme un domaine spécialisé axé sur les outils plutôt que sur l'entreprise scientifique plus large.

Contexte et Motivation de la Recherche

Définition du Problème

La question centrale que cette recherche vise à résoudre est : La science des logiciels de recherche (Research Software Science, SLR) devrait-elle être classée comme une forme de métascience (Metascience) ?

Importance

  1. L'essor de la science informatique : La recherche scientifique moderne dépend de plus en plus des méthodes informatiques, ce qui rend les logiciels de recherche une infrastructure clé pour la découverte scientifique
  2. Crise de la reproductibilité : La crise de la reproductibilité à laquelle fait face la communauté scientifique est largement liée à la qualité, à la transparence et à la reproductibilité des logiciels de recherche
  3. Impact sur l'allocation des ressources : La classification de la SLR affectera directement sa reconnaissance académique, ses opportunités de financement et son statut dans les institutions de recherche
  4. Développement disciplinaire : Clarifier l'appartenance disciplinaire de la SLR contribuera à normaliser son développement théorique et son application pratique

Limitations de la Recherche Existante

  1. Définitions floues : Les frontières entre la métascience et la SLR n'ont pas été clairement établies
  2. Fondations théoriques faibles : Absence d'analyse théorique systématique des caractéristiques disciplinaires de la SLR
  3. Orientations pratiques insuffisantes : La recherche existante se concentre principalement sur les aspects techniques, avec une analyse insuffisante des caractéristiques de la SLR en tant que discipline scientifique

Motivation de la Recherche

Les auteurs estiment que, avec la prolifération du calcul scientifique, il est nécessaire de mener une étude scientifique des outils logiciels qui soutiennent la découverte scientifique, et cette étude elle-même pourrait constituer une contribution à la « science de la science ».

Contributions Principales

  1. Clarification conceptuelle : Définition systématique de la portée et du contenu de la métascience et de la science des logiciels de recherche
  2. Analyse théorique : Analyse de la relation entre la SLR et la métascience sous une perspective épistémologique
  3. Comparaison multidimensionnelle : Comparaison des deux domaines selon plusieurs dimensions, notamment la méthodologie, les objectifs et les principes
  4. Cadre de classification : Proposition d'un cadre théorique pour déterminer si la SLR appartient à la métascience
  5. Orientations pratiques : Fourniture d'un soutien théorique pour la construction et le développement disciplinaires de la SLR

Explication Détaillée de la Méthodologie

Méthode de Recherche

Cet article emploie une analyse conceptuelle et une comparaison théorique comme méthode de recherche, procédant selon les étapes suivantes :

  1. Méthode de revue de littérature : Examen systématique des définitions, caractéristiques et développement de la métascience et de la SLR
  2. Méthode d'analyse comparative : Comparaison des similitudes et différences entre les deux domaines selon plusieurs dimensions
  3. Méthode d'analyse argumentative : Présentation respectivement des arguments en faveur et contre l'appartenance de la SLR à la métascience
  4. Méthode de jugement synthétique : Conclusions de classification basées sur différentes définitions de la métascience

Cadre d'Analyse

Dimensions de Définition de la Métascience

  • Définition large : Tout effort empirique visant à améliorer la science
  • Définition étroite : Recherche axée sur les structures systématiques et épistémologiques

Analyse des Caractéristiques de la SLR

  • Dimension technique : Capacités de modélisation logicielle, de simulation et d'analyse de données
  • Dimension sociale : Collaboration d'équipe, flux de travail et facteurs organisationnels
  • Dimension cognitive : Processus d'apprentissage et mécanismes d'acquisition de connaissances

Critères de Comparaison

  1. Objet de recherche : Étudie-t-on le processus scientifique lui-même ?
  2. Méthodologie : Emploie-t-on des méthodes scientifiques empiriques ?
  3. Orientation des objectifs : Vise-t-on à améliorer la pratique scientifique ?
  4. Portée d'impact : Exerce-t-on une influence interdisciplinaire ?

Arguments Fondamentaux

Arguments en Faveur de l'Appartenance de la SLR à la Métascience

1. Méthodes de Recherche Communes

  • Orientation empirique : Les deux emploient des méthodes empiriques telles que l'observation, l'expérimentation et l'analyse de données
  • Rigueur scientifique : Les deux appliquent la méthode scientifique au processus de recherche lui-même, plutôt que seulement aux phénomènes naturels
  • Recherche systématique : Les deux se concentrent sur l'amélioration systématique du processus de recherche

2. Chevauchement des Principes

Reproductibilité :

  • La métascience considère la crise de la reproductibilité comme une préoccupation centrale
  • La SLR contribue directement à la reproductibilité informatique par des pratiques telles que la documentation de la programmation, le contrôle de version et les environnements conteneurisés

Transparence :

  • La métascience promeut la transparence de la recherche, y compris le partage des données et du code
  • La SLR soutient ces objectifs par les principes de la science ouverte et les directives TOP

Promotion de la Découverte Scientifique :

  • L'objectif de la SLR est de promouvoir la découverte scientifique en améliorant les logiciels
  • Ceci s'aligne avec l'objectif de la métascience d'améliorer l'efficacité et l'impact scientifiques

3. Intégration Interdisciplinaire

La SLR nécessite une collaboration avec des scientifiques cognitifs et des chercheurs en sciences sociales, reflétant le caractère holistique de la métascience.

Arguments Contre l'Appartenance de la SLR à la Métascience

1. Distinction de l'Objet de Recherche

  • Outils vs. Processus : La SLR étudie principalement les outils logiciels, tandis que la métascience étudie le processus scientifique lui-même
  • Artefacts vs. Structures épistémologiques : Les logiciels sont des artefacts, tandis que la métascience se concentre sur les structures épistémologiques de la production de connaissances

2. Différences de Positionnement Disciplinaire

  • Domaine spécialisé : La SLR pourrait être plus appropriée de classer comme une branche spécialisée de l'informatique ou de l'ingénierie logicielle
  • Orientation appliquée : La SLR se concentre davantage sur l'amélioration pratique plutôt que sur l'étude systématique des connaissances scientifiques

3. Limitations de la Portée d'Impact

La SLR affecte principalement le domaine de la science informatique, tandis que la métascience exerce une influence interdisciplinaire plus large.

Configuration Expérimentale

Méthode d'Analyse

Cet article emploie une analyse théorique plutôt qu'une expérimentation empirique, validant les arguments par les moyens suivants :

  1. Preuves documentaires : Citation de définitions faisant autorité et de recherches dans les domaines pertinents
  2. Raisonnement logique : Établissement de chaînes argumentatives par raisonnement déductif et inductif
  3. Analyse de cas : Illustration des caractéristiques de la SLR par des cas pratiques concrets
  4. Analyse comparative : Comparaison avec des branches établies de la métascience

Critères d'Évaluation

  • Cohérence définitionnelle : Conformité avec la définition centrale de la métascience
  • Correspondance méthodologique : Emploi de méthodes de recherche identiques
  • Alignement des objectifs : Service des mêmes objectifs académiques
  • Évaluation d'impact : Production d'impact académique correspondant

Résultats Principaux

Conclusions Clés

  1. Dépendance définitionnelle : L'appartenance de la SLR à la métascience dépend largement de la façon dont on définit la métascience
  2. Chevauchement partiel : La SLR et la métascience présentent un chevauchement significatif selon plusieurs dimensions, mais aussi des différences évidentes
  3. Contribution pratique : La SLR contribue directement aux objectifs de la métascience en matière de reproductibilité informatique
  4. Interdisciplinarité : La SLR reflète les caractéristiques transversales des dimensions technique, sociale et cognitive

Recommandations de Classification

Basées sur une définition large de la métascience : La SLR peut être considérée comme une branche de la métascience, car elle améliore la pratique scientifique par des méthodes empiriques.

Basées sur une définition étroite de la métascience : La SLR est plus appropriée de considérer comme un domaine interdisciplinaire indépendant étroitement lié à la métascience.

Signification Pratique

Indépendamment de la classification, la SLR devrait :

  1. Obtenir la reconnaissance académique : Être reconnue comme une discipline scientifique indépendante
  2. Obtenir le soutien du financement : Bénéficier de canaux de financement de recherche spécialisés
  3. Améliorer le statut institutionnel : Obtenir le statut approprié dans les institutions de recherche
  4. Maintenir la rigueur scientifique : Assurer que les outils de recherche respectent les normes de la découverte scientifique

Travaux Connexes

Recherche en Métascience

  1. Cinq domaines principaux : Méthodologie, rapports, reproductibilité, évaluation, mécanismes d'incitation
  2. Institutions centrales : Centre pour la Science Ouverte, Alliance de Métascience
  3. Points de recherche : Crise de la reproductibilité, examen par les pairs, science des données scientifiques

Ingénierie des Logiciels de Recherche

  1. Mouvement RSE : Émergence des ingénieurs en logiciels de recherche
  2. Orientation pratique : Concentration sur l'amélioration pratique du développement logiciel
  3. Développement d'outils : Construction de meilleurs outils de logiciels de recherche

Recherche Scientifique sur les Logiciels

  1. Ingénierie logicielle empirique : Application de méthodes empiriques à la recherche en ingénierie logicielle
  2. Métascience des logiciels : Domaine émergent de la recherche sur la science de l'impact des logiciels
  3. Développement piloté par l'IA : Recherche sur l'application de l'intelligence artificielle au développement logiciel

Conclusions et Discussion

Conclusions Principales

  1. Classification conditionnelle : L'appartenance de la SLR à la métascience dépend de la largeur de la définition de la métascience
  2. Valeur indépendante : La SLR possède une valeur disciplinaire indépendante, qu'elle soit classée ou non comme métascience
  3. Importance pratique : La SLR est importante pour améliorer la pratique scientifique
  4. Nécessité du développement : Il est nécessaire d'appliquer la rigueur scientifique au développement des logiciels de recherche

Limitations

  1. Limitations de l'analyse théorique : Manque de données empiriques soutenant l'analyse théorique
  2. Controverse définitionnelle : La définition de la métascience elle-même est encore en développement
  3. Vérification pratique insuffisante : Les effets pratiques de la SLR en tant que discipline nécessitent une vérification supplémentaire
  4. Délimitation floue du champ : L'étendue et les frontières exactes de la SLR nécessitent une clarification

Orientations Futures

  1. Recherche empirique : Menée de plus nombreux projets de recherche empirique en SLR
  2. Construction théorique : Perfectionnement supplémentaire du système théorique de la SLR
  3. Application pratique : Promotion des pratiques de SLR dans davantage d'institutions de recherche
  4. Collaboration interdisciplinaire : Renforcement de la collaboration avec les sciences cognitives et les sciences sociales

Évaluation Approfondie

Points Forts

  1. Importance du problème : Aborde les questions centrales du développement scientifique contemporain
  2. Profondeur théorique : Analyse approfondie des questions d'attribution disciplinaire sous une perspective épistémologique
  3. Rigueur logique : Structure argumentative claire et arguments équilibrés pour et contre
  4. Signification pratique : Fourniture d'orientations théoriques pour le développement disciplinaire de la SLR
  5. Clarté de la rédaction : Définitions conceptuelles claires et exposition ordonnée

Insuffisances

  1. Absence d'empirisme : Dépend principalement de l'analyse théorique, manque de données empiriques de soutien
  2. Cas insuffisants : Manque d'analyse de cas pratiques concrets de SLR
  3. Absence d'analyse quantitative : Pas de comparaison analytique quantitative fournie
  4. Perspective internationale limitée : Basée principalement sur la littérature anglophone, peut présenter des limitations géographiques
  5. Analyse historique insuffisante : Analyse relativement sommaire de l'histoire du développement de la SLR

Évaluation de l'Impact

  1. Contribution académique : Fourniture d'une base théorique importante pour la construction disciplinaire de la SLR
  2. Impact politique : Peut influencer la reconnaissance et le soutien des institutions de recherche envers le travail logiciel
  3. Orientations pratiques : Fourniture d'une base théorique pour la reconnaissance disciplinaire des praticiens de la SLR
  4. Valeur interdisciplinaire : Promotion du dialogue entre l'ingénierie logicielle et la philosophie des sciences

Scénarios d'Application

  1. Construction disciplinaire : Applicable à la construction théorique et à la planification du développement de la SLR
  2. Formulation de politiques : Fourniture de références pour les organismes de financement de la recherche et les institutions d'enseignement supérieur
  3. Orientations pratiques : Fourniture d'un cadre de reconnaissance disciplinaire pour les développeurs de logiciels de recherche
  4. Éducation et formation : Utilisable pour l'enseignement supérieur et la formation dans les domaines connexes

Références Bibliographiques

Cet article cite 14 références importantes couvrant plusieurs domaines, notamment la métascience, la science des logiciels de recherche et l'ingénierie logicielle, fournissant une base solide pour l'analyse théorique. Les principales sources incluent :

  • Documents officiels du Centre pour la Science Ouverte concernant l'alliance de métascience
  • Travaux fondateurs de Michael A. Heroux sur la science des logiciels de recherche
  • Littérature théorique centrale du domaine de la métascience
  • Recherches connexes en ingénierie logicielle et reproductibilité informatique

Évaluation globale : Ceci est un article d'analyse théorique de haute qualité, d'une importance significative pour la compréhension et la promotion du développement disciplinaire de la science des logiciels de recherche. Bien que présentant certaines insuffisances en matière d'analyse empirique, sa contribution théorique et sa valeur d'orientation pratique ne doivent pas être négligées.