2025-11-16T21:28:12.824561

Generative AI and Firm Productivity: Field Experiments in Online Retail

Fang, Yuan, Zhang et al.
We quantify the impact of Generative Artificial Intelligence (GenAI) on firm productivity through a series of large-scale randomized field experiments involving millions of users and products at a leading cross-border online retail platform. Over six months in 2023-2024, GenAI-based enhancements were integrated into seven consumer-facing business workflows. We find that GenAI adoption significantly increases sales, with treatment effects ranging from 0\% to 16.3\%, depending on GenAI's marginal contribution relative to existing firm practices. Because inputs and prices were held constant across experimental arms, these gains map directly into total factor productivity improvements. Across the four GenAI applications with positive effects, the implied annual incremental value is approximately \$5 per consumer-an economically meaningful impact given the retailer's scale and the early stage of GenAI adoption. The primary mechanism operates through higher conversion rates, consistent with GenAI reducing frictions in the marketplace and improving consumer experience. We also document substantial heterogeneity: smaller and newer sellers, as well as less experienced consumers, exhibit disproportionately larger gains. Our findings provide novel, large-scale causal evidence on the productivity effects of GenAI in online retail, highlighting both its immediate value and broader potential.
academic

생성형 AI와 기업 생산성: 온라인 소매 분야 현장 실험

기본 정보

  • 논문 ID: 2510.12049
  • 제목: Generative AI and Firm Productivity: Field Experiments in Online Retail
  • 저자: Lu Fang, Zhe Yuan, Kaifu Zhang, Dante Donati, Miklos Sarvary
  • 분류: econ.GN cs.AI q-fin.EC
  • 발표 시간: 2025년 10월 10일 (예비 버전)
  • 논문 링크: https://arxiv.org/abs/2510.12049

초록

본 연구는 선도적인 국경 간 온라인 소매 플랫폼에서 수행된 대규모 무작위 현장 실험을 통해 생성형 인공지능(GenAI)이 기업 생산성에 미치는 영향을 정량화했습니다. 2023-2024년 6개월 동안 GenAI 강화 기능이 7개의 소비자 대면 업무 워크플로우에 통합되었습니다. 연구 결과 GenAI 도입이 판매액을 크게 증가시켰으며, 처리 효과는 0%에서 16.3% 사이로 나타났으며, 이는 기존 기업 관행에 대한 GenAI의 한계 기여도에 따라 달라집니다. 투입과 가격이 실험군 간에 일정하게 유지되었으므로, 이러한 수익은 전요소 생산성(TFP) 향상으로 직접 매핑됩니다. 긍정적 효과를 보인 4개의 GenAI 응용 프로그램에서 암묵적 연간 증분 가치는 소비자당 약 5달러로, 소매업체의 규모와 GenAI 도입의 초기 단계를 고려할 때 경제적으로 의미 있는 영향입니다.

연구 배경 및 동기

문제 정의

GenAI 도구의 빠른 확산이 다양한 산업의 생산성 재편 가능성에 대한 광범위한 관심을 불러일으켰음에도 불구하고, 현재 GenAI가 기업 수준의 수익 기반 생산성에 측정 가능한 이득을 가져오는지에 대한 실증적 증거가 부족합니다. 기존 연구는 주로 개인 수준의 작업 효율성에 초점을 맞추고 있어 기업 수준의 생산성 이득을 감지하기 어렵습니다.

연구의 중요성

  1. 실제 필요성: 투자자 및 업계 종사자들은 대규모 AI 투자가 지속적인 상업적 수익으로 전환될 수 있는지에 대해 우려하고 있습니다
  2. 이론적 공백: 기존 문헌은 주로 공급측 효율성 이득에 초점을 맞추고 있으며, 수요측 가치 창출에 대한 증거가 부족합니다
  3. 방법론적 과제: 상세한 수익 데이터와 인과관계 식별 환경이 필요하지만, 현실에서는 거의 갖춰져 있지 않습니다

기존 방법의 한계

  1. 실행 제약: 기술 전문 지식의 제한과 보완적 투자 필요성이 실행을 지연시킬 수 있습니다
  2. 범위 제한: 대부분의 GenAI 응용 프로그램은 여전히 시범 단계에 있으며, 좁게 정의된 작업에 초점을 맞추고 있습니다
  3. 식별 어려움: 엄격한 실증 분석에 필요한 상세한 수익 데이터와 인과관계 식별 설정이 부족합니다

핵심 기여

  1. 대규모 현실 세계 증거 제공: 수백만 사용자 및 제품을 포함하는 무작위 현장 실험을 통해 GenAI가 기업 생산성에 미치는 인과적 영향에 대한 증거를 처음으로 제공합니다
  2. 수요측 가치 창출 메커니즘 규명: GenAI가 시장 마찰 감소 및 소비자 경험 향상을 통해 생산성 이득을 창출하며, 단순히 투입 비용 절감을 통해서만이 아님을 입증합니다
  3. 이질성 효과 발견: 소규모 및 신규 판매자와 경험이 적은 소비자가 GenAI로부터 더 큰 이득을 얻습니다
  4. 경제적 영향 정량화: 긍정적 효과를 보인 4개의 GenAI 응용 프로그램이 연간 소비자당 약 5달러의 증분 가치를 창출하는 것으로 추정합니다

방법론 상세 설명

이론적 프레임워크

표준 Solow 성장 모델을 기반으로 한 Cobb-Douglas 생산함수: Y=AKαL1−α,0<α<1Y = AK^{\alpha}L^{1-\alpha}, 0 < \alpha < 1

여기서 Y는 산출, K는 자본 스톡, L은 노동 투입, A는 전요소 생산성(TFP)입니다.

자본과 노동 투입이 일정하게 유지되는 조건 하에서: dln⁡K=0,dln⁡L=0⇒dln⁡Y=dln⁡Ad\ln K = 0, d\ln L = 0 \Rightarrow d\ln Y = d\ln A

실험 설계

7개 업무 워크플로우

  1. 판매 전 서비스 챗봇: 24/7 GenAI 고객 서비스 vs 사전 프로그래밍된 자동 응답
  2. 검색 쿼리 최적화: GenAI 의미론적 이해 및 쿼리 최적화 vs 기본 번역
  3. 제품 설명 생성: GenAI 생성 구조화 설명 vs 인간 작성 설명
  4. 마케팅 푸시 메시지: GenAI 생성 개인화 메시지 vs 표준화 메시지
  5. Google 광고 제목 최적화: GenAI 최적화 광고 제목 vs 원본 제목
  6. 반품 분쟁 처리: GenAI 에이전트 vs 인간 처리
  7. 실시간 채팅 번역: GenAI 실시간 번역 지원 vs 번역 미지원

실험 특성

  • 무작위화 수준: 소비자 수준(6개 실험) 및 제품 수준(1개 실험)
  • 표본 규모: 30,000명에서 1,370만 명의 참여자
  • 실험 기간: 2023년 9월~2024년 6월
  • 중복률: 실험 간 소비자 중복률 1% 미만

계량 모델

기본 회귀 명세: yi=β×Treati+αc(i)+εiy_i = \beta \times Treat_i + \alpha_{c(i)} + \varepsilon_i

여기서 yiy_i는 결과 변수, TreatiTreat_i는 처리군 지시 변수, αc(i)\alpha_{c(i)}는 코호트 고정 효과입니다.

실험 설정

데이터 출처

세계 선도적인 국경 간 전자상거래 플랫폼과의 협력을 통해 다음을 획득했습니다:

  • 소비자 수준 거래 데이터(지출, 전환, 클릭)
  • 판매자 특성 데이터(연간 판매액, 운영 연수, 하위 계정 수)
  • 제품 특성 데이터(카테고리 집중도, 가격, 판매량)
  • 소비자 인구통계 및 구매 이력 데이터

평가 지표

  • 주요 지표: 판매액(달러), 전환율
  • 보조 지표: 제품 조회수, 클릭 수, 주문 수, 평균 장바구니 가치
  • 메커니즘 지표: 클릭율, 클릭-주문 전환율

표본 통계

각 실험의 주요 변수 기술 통계:

  • 전환율: 0.004-0.09 사이
  • 평균 판매액: 0.045-2.24달러
  • 제품 조회수: 5-313개
  • 제품 클릭 수: 0.22-8.23개

실험 결과

주요 결과

생산성 영향(판매액)

  1. 판매 전 서비스 챗봇: 16.3% 증가(p<0.01)
  2. 검색 쿼리 최적화: 2.93% 증가(p<0.05)
  3. 제품 설명 생성: 2.05% 증가(p<0.05)
  4. 마케팅 푸시 메시지: 1.6% 증가(유의하지 않음)
  5. Google 광고 제목: -4.5%(유의하지 않음)
  6. 반품 분쟁 처리: 성공률 15% 향상
  7. 실시간 채팅 번역: 소비자 만족도 5.2% 향상

메커니즘 분석(전환율)

모든 유효 워크플로우의 전환율이 크게 향상되었습니다:

  • 판매 전 서비스 챗봇: 21.7% 향상
  • 검색 쿼리 최적화: 1.15% 향상
  • 제품 설명 생성: 1.27% 향상
  • 마케팅 푸시 메시지: 3.0% 향상

집약적 한계 분석

평균 장바구니 가치는 모든 워크플로우에서 유의한 변화를 보이지 않았으며, 이는 GenAI가 주로 기존 구매자의 지출을 높이기보다는 시장 확장(전환 소비자 수 증가)을 통해 성장을 주도함을 나타냅니다.

이질성 분석

판매자 이질성

소규모 판매자가 더 큰 이득을 얻습니다:

  • 연간 판매액이 낮은 판매자: 3.68% 판매 증가 vs 대형 판매자 2.18%
  • 운영 연수가 짧은 판매자: 3.19% vs 2.28%
  • 하위 계정이 적은 판매자: 3.48% vs 0.97%

소비자 이질성

경험이 적은 소비자가 더 많은 이득을 얻습니다:

  • 등록 시간이 짧음: 22.4% 판매 증가 vs 경험 많은 소비자 13.7%
  • 로그인 일수가 적음: 18.5% vs 15.0%
  • 과거 소비가 낮음: 25.9% vs 8.6%

제품 이질성

결과는 특정 워크플로우에 따라 다릅니다:

  • 검색 최적화: 낮은 집중도 카테고리, 롱테일 제품, 고가 제품이 더 많은 이득을 얻습니다
  • 제품 설명: 높은 집중도 카테고리, 고가 제품이 더 많은 이득을 얻습니다
  • 판매 전 서비스: 롱테일 제품이 더 명확한 이득을 얻습니다

경제적 영향 정량화

긍정적 효과를 보인 4개의 GenAI 응용 프로그램을 기반으로, 연간 증분 가치는 소비자당 4.6-5.0달러로, 2023-2024년 전 세계 전자상거래 사용자 수익 증가의 5.5-6%를 차지합니다.

관련 연구

GenAI 경제적 영향 연구

기존 연구는 주로 다음에 초점을 맞추고 있습니다:

  • 개인 생산성 향상(프로그래밍, 작성, 고객 서비스 등)
  • 공급측 효율성 이득(작업 완료 시간, 완료 수량)
  • 실험실 환경에서의 효과 측정

본 연구는 기업 수준, 수요측 가치 창출 연구의 공백을 채웁니다.

온라인 시장 마찰 감소

관련 기술 포함:

  • 평판 및 평가 시스템이 정보 비대칭 완화
  • AI 기반 개인화 검색 및 추천
  • 타겟 광고가 매칭 효율성 향상

본 연구는 이 문헌을 확장하여 GenAI가 다양한 유형의 시장 마찰을 어떻게 추가로 감소시키는지 보여줍니다.

결론 및 논의

주요 결론

  1. GenAI는 측정 가능한 생산성 향상을 가져올 수 있습니다: 여러 업무 워크플로우에서 유의한 판매 증가가 관찰되었습니다
  2. 수요측 가치 창출 메커니즘: 시장 마찰 감소 및 소비자 경험 향상을 통해 생산성 이득을 실현합니다
  3. 유의한 이질성 효과: 소규모 판매자 및 경험이 적은 소비자가 더 큰 이득을 얻습니다
  4. 경제적 의미 중대: 초기 도입 단계에서도 상당한 증분 가치를 창출합니다

한계

  1. 단기 효과: 실험 기간이 짧음(수주~수개월), 장기 영향 데이터 부족
  2. 워크플로우 선택 편향: 7개 워크플로우는 관리 판단에 따라 선택되었으며, 체계적 선택이 아닙니다
  3. 노동 자본 투입 가정: 향후 요소 투입 변화 가능성
  4. 외부 타당성: 단일 플랫폼 실험, 경쟁사 전략 대응 미고려

향후 방향

  1. 장기 효과 연구: 소비자 적응 행동 및 플랫폼 모델 최적화의 영향
  2. 광범위한 응용: 물류, 재고 관리, 동적 가격 책정 등 기타 업무 프로세스
  3. 일반 균형 효과: 산업 광범위 도입 후의 경쟁 역학
  4. 비용측 조정: 노동력 대체 및 조직 구조 적응

심층 평가

장점

  1. 방법론적 엄밀성: 대규모 무작위 현장 실험이 강력한 인과관계 식별을 제공합니다
  2. 현실적 의의: 기업 수준 GenAI 생산성 영향에 대한 첫 실증 증거를 제공합니다
  3. 심층적 메커니즘 분석: 수요측 가치 창출 채널을 명확히 식별합니다
  4. 포괄적 이질성 분석: 판매자, 소비자, 제품 다차원에서 차별화된 효과를 규명합니다
  5. 정확한 경제 정량화: 구체적인 증분 가치 추정을 제공합니다

부족한 점

  1. 외부 타당성 제한: 단일 플랫폼 실험으로 결과 일반화 가능성에 의문
  2. 장기 효과 부재: 지속적 사용의 영향 및 소비자 적응을 평가할 수 없습니다
  3. 워크플로우 커버리지 불완전: 모든 가능한 GenAI 응용 시나리오를 포함하지 않습니다
  4. 경쟁 효과 무시: 산업 수준 도입의 균형 효과를 고려하지 않습니다

영향력

  1. 학술 기여: GenAI 경제적 영향 연구에 중요한 실증적 기초를 제공합니다
  2. 실용적 가치: 기업 GenAI 투자 결정을 위한 정량적 근거를 제공합니다
  3. 정책 시사: AI 기술 도입 촉진 정책 수립을 지원합니다
  4. 재현성: 명확한 실험 설계로 후속 연구를 위한 패러다임을 제공합니다

적용 시나리오

  1. 전자상거래 플랫폼: 온라인 소매 환경의 GenAI 배포에 직접 적용 가능
  2. 서비스 산업: 고객 서비스, 콘텐츠 생성 등 응용 시나리오
  3. 플랫폼 경제: 양면 시장의 마찰 감소 응용
  4. 기술 투자 평가: 기업 AI 투자 수익률 평가

참고문헌

본 연구는 풍부한 관련 문헌을 인용하며, 주요 내용은 다음을 포함합니다:

  • Brynjolfsson et al. (2025): 직장 생산성에 대한 GenAI의 영향
  • Noy and Zhang (2023): GenAI 생산성 효과의 실험적 증거
  • Acemoglu (2025): AI의 단순 거시경제학 분석
  • Syverson (2011): 생산성 결정 요인에 대한 종합 검토

전체 평가: 이는 대규모 현장 실험을 통해 GenAI의 기업 생산성 영향에 대한 설득력 있는 증거를 제공하는 고품질의 실증 연구 논문입니다. 연구 설계가 엄밀하며, 결과는 이론적, 실무적 의의가 중대하고, AI 기술의 경제적 영향을 이해하는 데 중요한 기여를 합니다. 일부 한계가 있지만, 이는 해당 분야의 개척적 연구로서의 가치를 훼손하지 않습니다.