2025-11-16T21:28:12.824561

Generative AI and Firm Productivity: Field Experiments in Online Retail

Fang, Yuan, Zhang et al.
We quantify the impact of Generative Artificial Intelligence (GenAI) on firm productivity through a series of large-scale randomized field experiments involving millions of users and products at a leading cross-border online retail platform. Over six months in 2023-2024, GenAI-based enhancements were integrated into seven consumer-facing business workflows. We find that GenAI adoption significantly increases sales, with treatment effects ranging from 0\% to 16.3\%, depending on GenAI's marginal contribution relative to existing firm practices. Because inputs and prices were held constant across experimental arms, these gains map directly into total factor productivity improvements. Across the four GenAI applications with positive effects, the implied annual incremental value is approximately \$5 per consumer-an economically meaningful impact given the retailer's scale and the early stage of GenAI adoption. The primary mechanism operates through higher conversion rates, consistent with GenAI reducing frictions in the marketplace and improving consumer experience. We also document substantial heterogeneity: smaller and newer sellers, as well as less experienced consumers, exhibit disproportionately larger gains. Our findings provide novel, large-scale causal evidence on the productivity effects of GenAI in online retail, highlighting both its immediate value and broader potential.
academic

IA Generativa e Produttività Aziendale: Esperimenti di Campo nel Commercio Elettronico Online

Informazioni Fondamentali

  • ID Articolo: 2510.12049
  • Titolo: Generative AI and Firm Productivity: Field Experiments in Online Retail
  • Autori: Lu Fang, Zhe Yuan, Kaifu Zhang, Dante Donati, Miklos Sarvary
  • Classificazione: econ.GN cs.AI q-fin.EC
  • Data di Pubblicazione: 10 Ottobre 2025 (Versione Preliminare)
  • Link Articolo: https://arxiv.org/abs/2510.12049

Sintesi

Questo studio quantifica l'impatto dell'intelligenza artificiale generativa (GenAI) sulla produttività aziendale attraverso un ampio esperimento di campo randomizzato condotto su una piattaforma leader di commercio elettronico transfrontaliero. Durante un periodo di sei mesi nel 2023-2024, le funzionalità potenziate da GenAI sono state integrate in sette flussi di lavoro aziendali rivolti ai consumatori. Lo studio rileva che l'adozione di GenAI ha aumentato significativamente le vendite, con effetti del trattamento compresi tra lo 0% e il 16,3%, a seconda del contributo marginale di GenAI rispetto alle pratiche aziendali esistenti. Poiché gli input e i prezzi rimangono costanti tra i gruppi sperimentali, questi guadagni si traducono direttamente in miglioramenti della produttività totale dei fattori. Tra le quattro applicazioni GenAI con effetti positivi, il valore incrementale annuale implicito è di circa 5 dollari per consumatore, il che rappresenta un impatto economicamente significativo considerando la scala del rivenditore e la fase iniziale dell'adozione di GenAI.

Contesto e Motivazione della Ricerca

Definizione del Problema

Nonostante la rapida diffusione degli strumenti GenAI abbia suscitato ampio interesse nel potenziale di trasformazione della produttività in vari settori, attualmente mancano prove empiriche del fatto che GenAI generi benefici misurabili sulla produttività aziendale a livello di reddito. La ricerca esistente si concentra principalmente sull'efficienza dei compiti a livello individuale, rendendo difficile rilevare i guadagni di produttività a livello aziendale.

Importanza della Ricerca

  1. Necessità Pratica: Investitori e professionisti del settore sono preoccupati se i massicci investimenti in IA possono tradursi in ritorni commerciali sostenuti
  2. Lacuna Teorica: La letteratura esistente si concentra principalmente sui guadagni di efficienza dal lato dell'offerta, mancando di prove sulla creazione di valore dal lato della domanda
  3. Sfide Metodologiche: È necessario disporre di dati dettagliati sui ricavi e di un ambiente di identificazione causale, che raramente si riscontra nella pratica

Limitazioni degli Approcci Esistenti

  1. Vincoli di Implementazione: I limiti delle competenze tecniche e i requisiti di investimenti complementari possono ritardare l'implementazione
  2. Limitazioni di Portata: La maggior parte delle applicazioni GenAI rimane ancora in fase pilota, focalizzandosi su compiti strettamente definiti
  3. Difficoltà di Identificazione: Mancanza di dati dettagliati sui ricavi e di configurazioni di identificazione causale richieste per un'analisi empirica rigorosa

Contributi Fondamentali

  1. Fornire Prove Empiriche su Larga Scala nel Mondo Reale: Per la prima volta, fornisce prove dell'impatto causale di GenAI sulla produttività aziendale attraverso esperimenti di campo randomizzati che coinvolgono milioni di utenti e prodotti
  2. Rivelare i Meccanismi di Creazione di Valore dal Lato della Domanda: Dimostra che GenAI crea guadagni di produttività riducendo gli attriti di mercato e migliorando l'esperienza dei consumatori, piuttosto che solo riducendo i costi degli input
  3. Scoprire Effetti Eterogenei: I venditori più piccoli e più nuovi, nonché i consumatori meno esperti, traggono maggiori benefici da GenAI
  4. Quantificare l'Impatto Economico: Stima che quattro applicazioni GenAI con effetti positivi creino circa 5 dollari di valore incrementale annuale per consumatore

Spiegazione Dettagliata del Metodo

Quadro Teorico

Basato sulla funzione di produzione Cobb-Douglas del modello di crescita Solow standard: Y=AKαL1α,0<α<1Y = AK^{\alpha}L^{1-\alpha}, 0 < \alpha < 1

Dove Y è l'output, K è lo stock di capitale, L è l'input di lavoro, e A è la produttività totale dei fattori (TFP).

Nelle condizioni in cui il capitale e l'input di lavoro rimangono costanti: dlnK=0,dlnL=0dlnY=dlnAd\ln K = 0, d\ln L = 0 \Rightarrow d\ln Y = d\ln A

Progettazione Sperimentale

Sette Flussi di Lavoro Aziendali

  1. Chatbot di Servizio Pre-vendita: Servizio clienti GenAI 24/7 vs risposte automatiche pre-programmate
  2. Ottimizzazione Query di Ricerca: Comprensione semantica GenAI e ottimizzazione query vs traduzione di base
  3. Generazione Descrizioni Prodotto: Descrizioni strutturate generate da GenAI vs descrizioni manuali
  4. Messaggi di Marketing Push: Messaggi personalizzati generati da GenAI vs messaggi standardizzati
  5. Ottimizzazione Titoli Annunci Google: Titoli degli annunci ottimizzati da GenAI vs titoli originali
  6. Gestione Controversie Restituzione: Agenti GenAI vs gestione manuale
  7. Traduzione Chat in Tempo Reale: Assistenza di traduzione in tempo reale GenAI vs nessun supporto di traduzione

Caratteristiche dell'Esperimento

  • Livello di Randomizzazione: Livello consumatore (6 esperimenti) e livello prodotto (1 esperimento)
  • Dimensione del Campione: Da 30.000 a 13,7 milioni di partecipanti
  • Periodo Sperimentale: Settembre 2023 - Giugno 2024
  • Tasso di Sovrapposizione: Sovrapposizione di consumatori tra esperimenti inferiore all'1%

Modello Econometrico

Specifica di regressione di base: yi=β×Treati+αc(i)+εiy_i = \beta \times Treat_i + \alpha_{c(i)} + \varepsilon_i

Dove yiy_i è la variabile di risultato, TreatiTreat_i è la variabile indicatrice del gruppo di trattamento, e αc(i)\alpha_{c(i)} è l'effetto fisso della coorte.

Configurazione Sperimentale

Fonte dei Dati

In collaborazione con una piattaforma leader mondiale di e-commerce transfrontaliero, ottenendo:

  • Dati transazionali a livello consumatore (spesa, conversione, clic)
  • Dati caratteristici del venditore (vendite annuali, anni di operatività, numero di sottoconti)
  • Dati caratteristici del prodotto (concentrazione categoria, prezzo, volume vendite)
  • Dati demografici dei consumatori e cronologia degli acquisti

Metriche di Valutazione

  • Metriche Principali: Vendite (dollari), tasso di conversione
  • Metriche Ausiliarie: Visualizzazioni prodotto, clic, numero ordini, valore medio carrello
  • Metriche di Meccanismo: Tasso di clic, tasso di conversione da clic a ordine

Statistiche Campionarie

Le statistiche descrittive delle variabili chiave per ogni esperimento mostrano:

  • Tasso di conversione: tra 0,004-0,09
  • Vendite medie: tra 0,045-2,24 dollari
  • Visualizzazioni prodotto: tra 5-313
  • Clic prodotto: tra 0,22-8,23

Risultati Sperimentali

Risultati Principali

Impatto sulla Produttività (Vendite)

  1. Chatbot di Servizio Pre-vendita: Crescita del 16,3% (p<0,01)
  2. Ottimizzazione Query di Ricerca: Crescita del 2,93% (p<0,05)
  3. Generazione Descrizioni Prodotto: Crescita del 2,05% (p<0,05)
  4. Messaggi di Marketing Push: Crescita dell'1,6% (non significativo)
  5. Titoli Annunci Google: -4,5% (non significativo)
  6. Gestione Controversie Restituzione: Miglioramento tasso di successo del 15%
  7. Traduzione Chat in Tempo Reale: Miglioramento soddisfazione consumatore del 5,2%

Analisi dei Meccanismi (Tasso di Conversione)

Significativo miglioramento del tasso di conversione in tutti i flussi di lavoro efficaci:

  • Chatbot di servizio pre-vendita: Miglioramento del 21,7%
  • Ottimizzazione query di ricerca: Miglioramento dell'1,15%
  • Generazione descrizioni prodotto: Miglioramento dell'1,27%
  • Messaggi di marketing push: Miglioramento del 3,0%

Analisi del Margine Intensivo

Il valore medio del carrello non mostra variazioni significative in tutti i flussi di lavoro, indicando che GenAI guida la crescita principalmente attraverso l'espansione del mercato (aumentando il numero di consumatori convertiti) piuttosto che aumentando la spesa degli acquirenti esistenti.

Analisi dell'Eterogeneità

Eterogeneità del Venditore

I venditori più piccoli ottengono maggiori benefici:

  • Venditori con vendite annuali inferiori: Crescita vendite del 3,68% vs grandi venditori 2,18%
  • Venditori con anni di operatività inferiori: 3,19% vs 2,28%
  • Venditori con meno sottoconti: 3,48% vs 0,97%

Eterogeneità del Consumatore

I consumatori meno esperti traggono maggiori benefici:

  • Tempo di registrazione inferiore: Crescita vendite del 22,4% vs consumatori esperti 13,7%
  • Giorni di accesso inferiori: 18,5% vs 15,0%
  • Consumo precedente inferiore: 25,9% vs 8,6%

Eterogeneità del Prodotto

I risultati variano a seconda del flusso di lavoro specifico:

  • Ottimizzazione Ricerca: Categorie a bassa concentrazione, prodotti di coda lunga, prodotti ad alto prezzo traggono maggiori benefici
  • Descrizione Prodotto: Categorie ad alta concentrazione, prodotti ad alto prezzo traggono maggiori benefici
  • Servizio Pre-vendita: Prodotti di coda lunga traggono benefici più evidenti

Quantificazione dell'Impatto Economico

Basato su quattro applicazioni GenAI con effetti positivi, il valore incrementale annualizzato è di circa 4,6-5,0 dollari per consumatore, rappresentando il 5,5-6% della crescita dei ricavi degli utenti di e-commerce globali nel 2023-2024.

Lavori Correlati

Ricerca sull'Impatto Economico di GenAI

La ricerca esistente si concentra principalmente su:

  • Miglioramento della produttività individuale (programmazione, scrittura, servizio clienti, ecc.)
  • Guadagni di efficienza dal lato dell'offerta (tempo di completamento compiti, quantità completata)
  • Misurazione degli effetti in ambienti di laboratorio

Questo studio colma il vuoto di ricerca a livello aziendale e di creazione di valore dal lato della domanda.

Riduzione degli Attriti nei Mercati Online

Le tecnologie correlate includono:

  • Sistemi di reputazione e valutazione per mitigare l'asimmetria informativa
  • Ricerca personalizzata e raccomandazioni guidate da IA
  • Pubblicità mirata per migliorare l'efficienza dell'abbinamento

Questo studio estende questa letteratura, dimostrando come GenAI possa ridurre ulteriormente molteplici tipi di attriti di mercato.

Conclusioni e Discussione

Conclusioni Principali

  1. GenAI può produrre miglioramenti di produttività misurabili: Crescita significativa delle vendite osservata in molteplici flussi di lavoro aziendali
  2. Meccanismo di creazione di valore dal lato della domanda: Guadagni di produttività realizzati attraverso la riduzione degli attriti di mercato e il miglioramento dell'esperienza dei consumatori
  3. Effetti di eterogeneità significativi: Venditori più piccoli e consumatori meno esperti ottengono maggiori benefici
  4. Significato Economico Sostanziale: Anche nella fase iniziale di adozione, produce valore incrementale considerevole

Limitazioni

  1. Effetti a Breve Termine: Il periodo sperimentale è relativamente breve (da settimane a mesi), mancano dati sugli impatti a lungo termine
  2. Bias nella Selezione dei Flussi di Lavoro: I sette flussi di lavoro sono stati selezionati in base al giudizio gestionale, non sistematicamente
  3. Ipotesi sugli Input di Capitale e Lavoro: Possibili cambiamenti negli input dei fattori in futuro
  4. Validità Esterna: Esperimento su una singola piattaforma, le risposte strategiche dei concorrenti non sono considerate

Direzioni Future

  1. Ricerca sugli Effetti a Lungo Termine: Impatto del comportamento di adattamento dei consumatori e dell'ottimizzazione del modello di piattaforma
  2. Applicazioni Più Ampie: Altri processi aziendali come logistica, gestione dell'inventario, determinazione dinamica dei prezzi
  3. Effetti di Equilibrio Generale: Dinamiche competitive dopo l'adozione diffusa nel settore
  4. Adeguamenti dei Costi: Sostituzione del lavoro e adattamento della struttura organizzativa

Valutazione Approfondita

Punti di Forza

  1. Rigore Metodologico: Ampi esperimenti di campo randomizzati forniscono una forte identificazione causale
  2. Significato Pratico Sostanziale: Fornisce per la prima volta prove empiriche dell'impatto di GenAI sulla produttività aziendale
  3. Analisi dei Meccanismi Approfondita: Identifica chiaramente i canali di creazione di valore dal lato della domanda
  4. Analisi dell'Eterogeneità Completa: Rivela effetti differenziati da molteplici dimensioni di venditori, consumatori e prodotti
  5. Quantificazione Economica Precisa: Fornisce stime specifiche del valore incrementale

Insufficienze

  1. Limitazioni della Validità Esterna: Esperimento su una singola piattaforma, la generalizzabilità dei risultati è discutibile
  2. Mancanza di Effetti a Lungo Termine: Impossibile valutare l'impatto dell'uso continuato e dell'adattamento dei consumatori
  3. Copertura Incompleta dei Flussi di Lavoro: Non copre tutti i possibili scenari di applicazione di GenAI
  4. Effetti di Concorrenza Ignorati: Non considera gli effetti di equilibrio dell'adozione a livello di settore

Impatto

  1. Contributo Accademico: Fornisce una base empirica importante per la ricerca sull'impatto economico di GenAI
  2. Valore Pratico: Fornisce prove quantitative per le decisioni di investimento aziendale in GenAI
  3. Implicazioni Politiche: Supporta l'elaborazione di politiche per promuovere l'adozione della tecnologia IA
  4. Riproducibilità: Il design sperimentale è chiaro, fornendo un paradigma per la ricerca successiva

Scenari Applicabili

  1. Piattaforme di E-commerce: Direttamente applicabile alla distribuzione di GenAI negli ambienti di vendita al dettaglio online
  2. Settore dei Servizi: Scenari di applicazione come servizio clienti e generazione di contenuti
  3. Economia Piattaforma: Applicazioni di riduzione degli attriti nei mercati bilaterali
  4. Valutazione degli Investimenti Tecnologici: Valutazione del ritorno sull'investimento in IA aziendale

Bibliografia

Questo studio cita una ricca letteratura correlata, principalmente includendo:

  • Brynjolfsson et al. (2025): Impatto di GenAI sulla produttività sul posto di lavoro
  • Noy and Zhang (2023): Prove sperimentali degli effetti di produttività di GenAI
  • Acemoglu (2025): Analisi macroeconomica semplice dell'IA
  • Syverson (2011): Rassegna dei determinanti della produttività

Valutazione Complessiva: Questo è un articolo di ricerca empirica di alta qualità che fornisce prove convincenti dell'impatto di GenAI sulla produttività aziendale attraverso ampi esperimenti di campo. Il design della ricerca è rigoroso e i risultati hanno un significato teorico e pratico importante, fornendo un contributo significativo alla comprensione dell'impatto economico della tecnologia IA. Sebbene esistano alcune limitazioni, queste non compromettono il valore di questo studio come ricerca pioneristico nel campo.