2025-11-11T13:28:09.717207

Completion $\neq$ Collaboration: Scaling Collaborative Effort with Agents

Shen, Chen, Gu et al.
Current evaluations of agents remain centered around one-shot task completion, failing to account for the inherently iterative and collaborative nature of many real-world problems, where human goals are often underspecified and evolve. We argue for a shift from building and assessing task completion agents to developing collaborative agents, assessed not only by the quality of their final outputs but by how well they engage with and enhance human effort throughout the problem-solving process. To support this shift, we introduce collaborative effort scaling, a framework that captures how an agent's utility grows with increasing user involvement. Through case studies and simulated evaluations, we show that state-of-the-art agents often underperform in multi-turn, real-world scenarios, revealing a missing ingredient in agent design: the ability to sustain engagement and scaffold user understanding. Collaborative effort scaling offers a lens for diagnosing agent behavior and guiding development toward more effective interactions.
academic

完了 ≠\neq 協働：エージェントによる協働努力のスケーリング

基本情報

  • 論文ID: 2510.25744
  • タイトル: Completion ≠\neq Collaboration: Scaling Collaborative Effort with Agents
  • 著者: Shannon Zejiang Shen, Valerie Chen, Ken Gu, Alexis Ross, Zixian Ma, Jillian Ross, Alex Gu, Chenglei Si, Wayne Chi, Andi Peng, Jocelyn Shen, Ameet Talwalkar, Tongshuang Wu, David Sontag
  • 所属機関: MIT、CMU、ワシントン大学、スタンフォード大学
  • 分類: cs.CL cs.AI
  • 論文リンク: https://arxiv.org/abs/2510.25744
  • プロジェクトリンク: https://github.com/clinicalml/collaborative-effort-scaling

要約

現在のエージェント評価は主に一度限りのタスク完了に焦点を当てており、多くの現実的な問題に内在する反復的かつ協働的性質を考慮していません。これらの問題では、人間の目標がしばしば不明確で進化します。本論文は、タスク完了エージェントの構築と評価から、協働エージェントの開発への転換を提案しています。評価は最終出力の品質だけでなく、問題解決プロセス全体を通じてエージェントが人間とどのように相互作用し、人間の努力をどのように増強するかに基づくべきです。この転換を支援するため、著者らは協働努力スケーリング（collaborative effort scaling）フレームワークを導入し、ユーザー参加度の増加に伴うエージェント有用性の成長を捉えています。ケーススタディとシミュレーション評価を通じて、最先端のエージェントが多ラウンドの現実的シナリオで不十分な性能を示すことが明らかになり、エージェント設計における欠落要素が露呈されました：参加度を維持し、ユーザー理解を支援する能力です。

研究背景と動機

問題定義

  1. 中核的問題：既存のエージェントは主に一度限りのタスク完了に最適化されていますが、現実世界の複雑なタスクはしばしば人機協働の反復プロセスを必要とします
  2. 問題の重要性：LLMエージェントが複雑な知識労働への応用を増やす中で、効果的な協働がいかに重要な課題となるか
  3. 既存の限界：
    • ユーザーニーズが静的で完全に指定されていると仮定
    • ユーザー理解の構築と目標進化のプロセスを無視
    • 協働プロセスの品質を評価するメカニズムが欠如

研究動機

著者らは5つの領域（データ分析、旅行計画、金融コンサルティング、教育、数学発見）にわたるケーススタディを通じて、現在のタスク完了エージェントが多ラウンド相互作用で体系的な問題を抱えていることを発見しました：

  • 消化困難な完全な結果を過早に生成
  • ユーザーフィードバックを効果的に統合できない
  • 推論プロセスの透明性が不足
  • ユーザーニーズの進化に対応できない

核心的貢献

  1. 理論フレームワーク：協働努力スケーリング（Collaborative Effort Scaling）フレームワークを提案し、ユーザー努力と共同効用の2つの次元から人機協働の品質を評価
  2. 評価方法：協働エージェントの性能を定量化するための指標体系を設計。相互作用の持続可能性と最大利用可能性を含む
  3. 実証的発見：シミュレーション実験を通じて、現在のSOTAエージェントが協働シナリオで不十分な性能を示すことを証明し、協働設計の重要性を明らかに
  4. 設計洞察：より効果的な協働エージェント構築のための具体的な設計指導と診断ツールを提供

方法の詳細

タスク定義

人機協働を部分観測可能マルコフ決定過程（POMDP）としてモデル化：

  • 行動列：a=[a1(l1),a2(l2),...,aT(lT)]a = [a_1^{(l_1)}, a_2^{(l_2)}, ..., a_T^{(l_T)}]、ここでlt∈{H,A}l_t \in \{H, A\}は人間またはエージェントを表す
  • コンテキストウィンドウ：c=[c1(l1),c2(l2),...,cT(lT)]c = [c_1^{(l_1)}, c_2^{(l_2)}, ..., c_T^{(l_T)}]
  • 協働ラウンド：人機ハンドオフを通じてプロセス全体をラウンドak=a[ik:jk]a_k = a[i_k:j_k]に分解

フレームワークの中核コンポーネント

1. 二次元評価体系

  • ユーザー努力（User Effort）：協働プロセスにおけるユーザーの認知的および調査的労力
    • 基本度量：人間主導ラウンド数∣aH∣|a^H|
    • 拡張度量：処理されたコンテキストトークン数∑cA\sum c^A
  • 共同行動の効用（Utility of Joint Actions）：人機チームが共同で完了した作業の品質

2. 主要指標の定義

全体効用： U=1N∑i=1Nmax⁡Uk(i)U = \frac{1}{N}\sum_{i=1}^{N} \max U_k^{(i)}

改善ゲイン： G=1N∑i=1Nmax⁡Uk(i)−Uki′(i)G = \frac{1}{N}\sum_{i=1}^{N} \max U_k^{(i)} - U_{k'_i}^{(i)}

利用可能性の低下： D@τ=1N∑i=1NUki,τ(i)−UKi(i)D@\tau = \frac{1}{N}\sum_{i=1}^{N} U_{k_{i,\tau}}^{(i)} - U_{K_i}^{(i)}

3. 理想的な協働属性

  • 相互作用の持続可能性：エージェントはユーザー努力の増加に伴い、より大きな価値を生成すべき
  • 最大利用可能性：エージェントは長期的な相互作用を促進・維持し、ユーザーの過早な放棄を回避すべき

技術的革新点

  1. 結果志向から過程志向へ：最終出力の品質だけでなく、協働プロセスの有効性を重視
  2. スケーリング則の着想：機械学習のスケーリング則の概念を借用し、協働効用のスケーリング特性を研究
  3. 多段階モデリング：初期要求段階と改善段階を区別し、協働ダイナミクスをより正確に捉える

実験設定

実験環境

  • プラットフォーム：Collaborative-Gym環境、非同期人機行動をサポート
  • タスク：旅行計画タスク。高レベルの説明から行程、宿泊、交通を含む詳細な計画を作成

モデル構成

  • テストモデル：GPT-4o、Claude 3.5 Sonnet、Claude 4.0 Sonnet、Llama-3.1 70B
  • エージェントタイプ：
    • 自動化ベースラインエージェント
    • 一段階協働エージェント
    • 二段階協働エージェント（計画ステップを追加）

評価設定

  • 性能度量：常識通過率と制約充足率の算術平均に基づく
  • シミュレーションユーザー：GPT-4oベースのプロンプトエージェント。ユーザー選好と目標への追加アクセス権を有する
  • 相互作用制限：最大30ラウンド

実験結果

主要な発見

1. 協働効用スケーリング傾向

  • すべてのエージェントが同様の協働努力スケーリング傾向を示す：初期改善後、約5ラウンドの相互作用でプラトーに達する
  • Claudeシリーズモデルが最高の性能を示し、ユーザー努力を効果的に活用して性能向上を実現

2. モデル間の差異が顕著

表1の結果に基づく：

モデル戦略全体効用改善ゲイン（相対）利用可能性低下（相対）
Claude-4.0-sonnet一段階0.6805.7%-20.6%
Claude-4.0-sonnet二段階0.6815.2%-34.9%
Claude-3.5-sonnet一段階0.45013.6%-29.7%
GPT-4o一段階0.5074.9%-20.8%

3. 協働戦略の影響

  • Claude-3.5-sonnet：二段階計画が性能を大幅に向上。0.450から0.687に上昇
  • Claude-4.0-sonnet：一段階と二段階戦略が同様の最終効用に到達。ただし効率が異なる
  • GPT-4oおよびLlama-3.1-70b：協働版が自動化ベースラインを上回らない

努力配分分析

ユーザー努力の差異

  • Claude-4.0-sonnet以外のモデルでは、ユーザーがより多くのトークンを投入する必要があるが、利益は限定的
  • Claude-4.0-sonnetはより広い努力比率範囲で強固な性能を維持

最適努力バランス

  • モデル依存の最適エージェント-ユーザー努力比率が存在
  • いずれかが相互作用を過度に支配する場合、共同性能は低下傾向

実験的発見

  1. 能力が戦略を決定：モデル能力が低い場合、より多くの構造化相互作用スキャフォルディングが必要
  2. 協働設計が重要：強力なモデルであっても、協働方法の設計が全体性能に大きく影響
  3. 努力バランスが重要：最適な人機努力配分比率が存在し、モデル能力に応じて調整が必要

関連研究

人機協働研究

  • 初期研究は限定的なAIシステムの人機協働設計原則に焦点
  • 現代のLLMエージェントはより複雑な相互作用能力を備え、新しい協働フレームワークが必要

エージェント評価ベンチマーク

  • 既存ベンチマークは主にタスク完了能力に焦点（SWE-Bench、WebArena、GAIAなど）
  • 協働プロセスの品質の体系的評価が欠如

インタラクティブ評価

  • 最近の研究がインタラクティブ評価を導入し始めているが、依然として狭い段階的相互作用に限定
  • 本論文は拡張相互作用軌跡における協働ダイナミクスに焦点

結論と考察

主要な結論

  1. パラダイムシフトの必要性：タスク完了から協働能力の評価への転換が必要
  2. 現在のエージェントの不十分性：SOTAエージェントが協働シナリオで不十分な性能を示し、参加度を維持し理解を支援する能力が欠如
  3. 設計指導：協働努力スケーリングフレームワークは、エージェント協働能力の診断と改善のための効果的なツールを提供

限界

  1. 実験範囲：単一領域（旅行計画）でのみ実験。すべての協働ダイナミクスをカバーできない可能性
  2. シミュレーションユーザー：実際の人間参加者ではなくシミュレーションユーザーを使用。実際の相互作用パターンを完全に反映できない可能性
  3. 度量の簡略化：簡略化された効用と努力プロキシ指標を使用。実際の協働の複雑性はより高い

今後の方向性

  1. より豊かなシミュレーション環境：ユーザーが私的情報または領域知識を有するシナリオの構築
  2. 適応的協働フレームワーク：モデル能力に基づいて協働戦略を動的に調整
  3. マルチモーダル協働：視覚、音声などを含むマルチモーダル協働シナリオへの拡張

深層評価

利点

  1. 問題識別の正確性：現在のエージェント評価の中核的欠陥を正確に識別
  2. フレームワーク設計の合理性：協働努力スケーリングフレームワークの概念が明確で操作性が高い
  3. 実証研究の充実：ケーススタディとシミュレーション実験を組み合わせ、多角的検証を提供
  4. 実用価値の高さ：エージェント開発者に具体的な設計指導を提供

不足点

  1. 評価の限界：シミュレーション環境とプロキシ指標が実際の協働の複雑性を完全に捉えられない可能性
  2. モデルカバレッジの限定：テストされたモデル数が相対的に限定的。結論の普遍性は検証待ち
  3. 長期効果の未知性：長期協働関係と学習効果に関する研究が欠如

影響力

  1. 学術的貢献：人機協働研究に新しい理論フレームワークと評価方法を提供
  2. 実用価値：エージェント製品開発に重要な指導意義を持つ
  3. 研究方向：単なるタスク完了ではなく協働品質に焦点を当てた研究を促進する可能性

適用シナリオ

  1. 知識労働：データ分析、研究、コンサルティングなど反復的探索が必要な領域
  2. 教育訓練：段階的理解構築が必要な学習シナリオ
  3. 創造的作業：人機共同創造と改善が必要なタスク

参考文献

本論文は広範な関連研究を引用しており、以下を含みます：

  • 人機協働設計原則（Amershi et al., 2019）
  • エージェント評価ベンチマーク（Jimenez et al., 2023; Zhou et al., 2023）
  • インタラクティブ評価方法（Lee et al., 2023; Shao et al., 2024）
  • スケーリング則関連研究（Hoffmann et al., 2022; Kaplan et al., 2020）

要約：本論文は重要かつ時宜を得た研究課題を提起し、エージェントの協働能力を評価・改善するための体系的フレームワークを提供しています。実験設定にいくつかの限界がありますが、その理論的貢献と実用価値により、人機協働分野の重要な研究となっています。エージェント技術の急速な発展に伴い、単なるタスク完了ではなく協働品質に焦点を当てるこのような研究方向はますます重要になるでしょう。