2025-11-16T21:28:12.824561

Generative AI and Firm Productivity: Field Experiments in Online Retail

Fang, Yuan, Zhang et al.
We quantify the impact of Generative Artificial Intelligence (GenAI) on firm productivity through a series of large-scale randomized field experiments involving millions of users and products at a leading cross-border online retail platform. Over six months in 2023-2024, GenAI-based enhancements were integrated into seven consumer-facing business workflows. We find that GenAI adoption significantly increases sales, with treatment effects ranging from 0\% to 16.3\%, depending on GenAI's marginal contribution relative to existing firm practices. Because inputs and prices were held constant across experimental arms, these gains map directly into total factor productivity improvements. Across the four GenAI applications with positive effects, the implied annual incremental value is approximately \$5 per consumer-an economically meaningful impact given the retailer's scale and the early stage of GenAI adoption. The primary mechanism operates through higher conversion rates, consistent with GenAI reducing frictions in the marketplace and improving consumer experience. We also document substantial heterogeneity: smaller and newer sellers, as well as less experienced consumers, exhibit disproportionately larger gains. Our findings provide novel, large-scale causal evidence on the productivity effects of GenAI in online retail, highlighting both its immediate value and broader potential.
academic

Generative AI and Firm Productivity: Field Experiments in Online Retail

基本信息

  • 论文ID: 2510.12049
  • 标题: Generative AI and Firm Productivity: Field Experiments in Online Retail
  • 作者: Lu Fang, Zhe Yuan, Kaifu Zhang, Dante Donati, Miklos Sarvary
  • 分类: econ.GN cs.AI q-fin.EC
  • 发表时间: October 10, 2025 (Preliminary version)
  • 论文链接: https://arxiv.org/abs/2510.12049

摘要

本研究通过在一家领先的跨境在线零售平台上进行的大规模随机现场实验，量化了生成式人工智能(GenAI)对企业生产力的影响。在2023-2024年的六个月期间，GenAI增强功能被集成到七个面向消费者的业务工作流程中。研究发现GenAI采用显著提高了销售额，治疗效应在0%到16.3%之间，具体取决于GenAI相对于现有企业实践的边际贡献。由于投入和价格在实验组间保持恒定，这些收益直接映射为全要素生产率的提升。在四个具有积极效应的GenAI应用中，隐含的年度增量价值约为每消费者5美元，考虑到零售商的规模和GenAI采用的早期阶段，这是一个具有经济意义的影响。

研究背景与动机

问题定义

尽管GenAI工具快速扩散引发了对其重塑各行业生产力潜力的广泛兴趣，但目前缺乏GenAI对企业层面收入型生产力产生可衡量收益的实证证据。现有研究主要关注个体层面的任务效率，难以检测企业层面的生产力收益。

研究重要性

  1. 实际需求：投资者和行业从业者对大规模AI投资是否能转化为持续商业回报存在担忧
  2. 理论空白：现有文献主要聚焦供给侧效率收益，缺乏需求侧价值创造的证据
  3. 方法论挑战：需要详细的收入数据和因果识别环境，这在现实中很少具备

现有方法局限性

  1. 实施约束：技术专业知识限制和互补投资需求可能延迟实施
  2. 范围局限：大多数GenAI应用仍处于试点阶段，专注于狭义定义的任务
  3. 识别困难：缺乏严格的实证分析所需的详细收入数据和因果识别设置

核心贡献

  1. 提供大规模现实世界证据：首次通过涉及数百万用户和产品的随机现场实验，提供GenAI对企业生产力因果影响的证据
  2. 揭示需求侧价值创造机制：证明GenAI通过减少市场摩擦、提升消费者体验来创造生产力收益，而非仅通过降低投入成本
  3. 发现异质性效应：较小和较新的卖家以及经验较少的消费者从GenAI中获得更大收益
  4. 量化经济影响：估算出四个积极效应的GenAI应用每年为每消费者创造约5美元的增量价值

方法详解

理论框架

基于标准Solow增长模型的Cobb-Douglas生产函数： Y=AKαL1−α,0<α<1Y = AK^{\alpha}L^{1-\alpha}, 0 < \alpha < 1

其中Y为产出，K为资本存量，L为劳动投入，A为全要素生产率(TFP)。

在资本和劳动投入保持恒定的条件下： dln⁡K=0,dln⁡L=0⇒dln⁡Y=dln⁡Ad\ln K = 0, d\ln L = 0 \Rightarrow d\ln Y = d\ln A

实验设计

七个业务工作流程

  1. 售前服务聊天机器人：24/7 GenAI客服vs预编程自动回复
  2. 搜索查询优化：GenAI语义理解和查询优化vs基础翻译
  3. 产品描述生成：GenAI生成结构化描述vs人工描述
  4. 营销推送消息：GenAI生成个性化消息vs标准化消息
  5. Google广告标题优化：GenAI优化广告标题vs原始标题
  6. 退单争议处理：GenAI代理vs人工处理
  7. 实时聊天翻译：GenAI实时翻译辅助vs无翻译支持

实验特征

  • 随机化水平：消费者层面（6个实验）和产品层面（1个实验）
  • 样本规模：从3万到1370万参与者不等
  • 实验期间：2023年9月至2024年6月
  • 重叠率：跨实验消费者重叠率低于1%

计量模型

基本回归规范： yi=β×Treati+αc(i)+εiy_i = \beta \times Treat_i + \alpha_{c(i)} + \varepsilon_i

其中yiy_i为结果变量，TreatiTreat_i为处理组指示变量，αc(i)\alpha_{c(i)}为队列固定效应。

实验设置

数据来源

与世界领先的跨境电商平台合作，获得：

  • 消费者层面交易数据（支出、转化、点击）
  • 卖家特征数据（年销售额、运营年限、子账户数）
  • 产品特征数据（类别集中度、价格、销量）
  • 消费者人口统计和购物历史数据

评价指标

  • 主要指标：销售额（美元）、转化率
  • 辅助指标：产品浏览量、点击量、订单数、平均购物车价值
  • 机制指标：点击率、点击转订单率

样本统计

各实验的关键变量描述性统计显示：

  • 转化率：0.004-0.09之间
  • 平均销售额：0.045-2.24美元
  • 产品浏览量：5-313个
  • 产品点击量：0.22-8.23个

实验结果

主要结果

生产力影响（销售额）

  1. 售前服务聊天机器人：16.3%增长（p<0.01）
  2. 搜索查询优化：2.93%增长（p<0.05）
  3. 产品描述生成：2.05%增长（p<0.05）
  4. 营销推送消息：1.6%增长（不显著）
  5. Google广告标题：-4.5%（不显著）
  6. 退单争议处理：成功率提升15%
  7. 实时聊天翻译：消费者满意度提升5.2%

机制分析（转化率）

所有有效工作流程的转化率显著提升：

  • 售前服务聊天机器人：21.7%提升
  • 搜索查询优化：1.15%提升
  • 产品描述生成：1.27%提升
  • 营销推送消息：3.0%提升

集约边际分析

平均购物车价值在所有工作流程中均无显著变化，表明GenAI主要通过扩展市场（增加转化消费者数量）而非提高现有买家支出来驱动增长。

异质性分析

卖家异质性

小型卖家获得更大收益：

  • 年销售额较低的卖家：3.68%销售增长 vs 大卖家2.18%
  • 运营年限较短的卖家：3.19% vs 2.28%
  • 子账户较少的卖家：3.48% vs 0.97%

消费者异质性

经验较少的消费者受益更多：

  • 注册时间较短：22.4%销售增长 vs 经验丰富13.7%
  • 登录天数较少：18.5% vs 15.0%
  • 过往消费较低：25.9% vs 8.6%

产品异质性

结果因具体工作流程而异：

  • 搜索优化：低集中度类别、长尾产品、高价产品受益更多
  • 产品描述：高集中度类别、高价产品受益更多
  • 售前服务：长尾产品受益更明显

经济影响量化

基于四个积极效应的GenAI应用，年化增量价值约为每消费者4.6-5.0美元，占2023-2024年全球电商用户收入增长的5.5-6%。

相关工作

GenAI经济影响研究

现有研究主要关注：

  • 个体生产力提升（编程、写作、客服等）
  • 供给侧效率收益（任务完成时间、完成数量）
  • 实验室环境下的效果测量

本研究填补了企业层面、需求侧价值创造的研究空白。

在线市场摩擦减少

相关技术包括：

  • 信誉和评价系统缓解信息不对称
  • AI驱动的个性化搜索和推荐
  • 定向广告提升匹配效率

本研究扩展了这一文献，展示GenAI如何进一步减少多种类型的市场摩擦。

结论与讨论

主要结论

  1. GenAI可产生可衡量的生产力提升：在多个业务工作流程中观察到显著的销售增长
  2. 需求侧价值创造机制：通过减少市场摩擦、提升消费者体验实现生产力收益
  3. 显著异质性效应：小卖家和经验较少消费者获得更大收益
  4. 经济意义重大：即使在早期采用阶段，也产生了可观的增量价值

局限性

  1. 短期效应：实验期间较短（数周到数月），缺乏长期影响数据
  2. 工作流程选择偏差：七个工作流程基于管理判断选择，非系统性选择
  3. 劳动资本投入假设：未来可能出现要素投入变化
  4. 外部有效性：单一平台实验，竞争对手策略响应未考虑

未来方向

  1. 长期效应研究：消费者适应行为和平台模型优化的影响
  2. 更广泛应用：物流、库存管理、动态定价等其他业务流程
  3. 一般均衡效应：行业广泛采用后的竞争动态
  4. 成本侧调整：劳动力替代和组织结构适应

深度评价

优点

  1. 方法论严谨：大规模随机现场实验提供强有力的因果识别
  2. 现实意义重大：首次提供企业层面GenAI生产力影响的实证证据
  3. 机制分析深入：清晰识别需求侧价值创造渠道
  4. 异质性分析全面：从卖家、消费者、产品多维度揭示差异化效应
  5. 经济量化精确：提供具体的增量价值估算

不足

  1. 外部有效性限制：单一平台实验，结果推广性存疑
  2. 长期效应缺失：无法评估持续使用的影响和消费者适应
  3. 工作流程覆盖不全：未涵盖所有可能的GenAI应用场景
  4. 竞争效应忽略：未考虑行业层面采用的均衡效应

影响力

  1. 学术贡献：为GenAI经济影响研究提供重要实证基础
  2. 实用价值：为企业GenAI投资决策提供量化依据
  3. 政策启示：支持促进AI技术采用的政策制定
  4. 可复现性：实验设计清晰，为后续研究提供范式

适用场景

  1. 电商平台：直接适用于在线零售环境的GenAI部署
  2. 服务行业：客服、内容生成等应用场景
  3. 平台经济：双边市场中的摩擦减少应用
  4. 技术投资评估：企业AI投资回报率评估

参考文献

本研究引用了丰富的相关文献，主要包括：

  • Brynjolfsson et al. (2025)：GenAI对工作场所生产力的影响
  • Noy and Zhang (2023)：GenAI生产力效应的实验证据
  • Acemoglu (2025)：AI的简单宏观经济学分析
  • Syverson (2011)：生产力决定因素的综述

总体评价：这是一篇高质量的实证研究论文，通过大规模现场实验为GenAI的企业生产力影响提供了令人信服的证据。研究设计严谨，结果具有重要的理论和实践意义，为理解AI技术的经济影响做出了重要贡献。尽管存在一些局限性，但这些并不影响其作为该领域开创性研究的价值。