2025-11-11T13:28:09.717207

Completion $\neq$ Collaboration: Scaling Collaborative Effort with Agents

Shen, Chen, Gu et al.

Current evaluations of agents remain centered around one-shot task completion, failing to account for the inherently iterative and collaborative nature of many real-world problems, where human goals are often underspecified and evolve. We argue for a shift from building and assessing task completion agents to developing collaborative agents, assessed not only by the quality of their final outputs but by how well they engage with and enhance human effort throughout the problem-solving process. To support this shift, we introduce collaborative effort scaling, a framework that captures how an agent's utility grows with increasing user involvement. Through case studies and simulated evaluations, we show that state-of-the-art agents often underperform in multi-turn, real-world scenarios, revealing a missing ingredient in agent design: the ability to sustain engagement and scaffold user understanding. Collaborative effort scaling offers a lens for diagnosing agent behavior and guiding development toward more effective interactions.

academic

সমাপ্তি $\neq$ সহযোগিতা: এজেন্টদের সাথে সহযোগিতামূলক প্রচেষ্টা স্কেলিং

মৌলিক তথ্য

পেপার আইডি: 2510.25744
শিরোনাম: Completion $\neq$ Collaboration: Scaling Collaborative Effort with Agents
লেখক: Shannon Zejiang Shen, Valerie Chen, Ken Gu, Alexis Ross, Zixian Ma, Jillian Ross, Alex Gu, Chenglei Si, Wayne Chi, Andi Peng, Jocelyn Shen, Ameet Talwalkar, Tongshuang Wu, David Sontag
প্রতিষ্ঠান: MIT, CMU, University of Washington, Stanford University
শ্রেণীবিভাগ: cs.CL cs.AI
পেপার লিংক: https://arxiv.org/abs/2510.25744
প্রকল্প লিংক: https://github.com/clinicalml/collaborative-effort-scaling

সারসংক্ষেপ

বর্তমান এজেন্ট মূল্যায়ন প্রধানত একক-পাস কাজ সমাপ্তির উপর দৃষ্টি নিবদ্ধ করে, যা অনেক বাস্তব সমস্যার অন্তর্নিহিত পুনরাবৃত্তিমূলক এবং সহযোগিতামূলক প্রকৃতি বিবেচনা করে না, যেখানে মানব লক্ষ্যগুলি প্রায়শই অস্পষ্ট এবং বিকশিত হয়। এই পেপারটি কাজ সমাপ্তি এজেন্ট তৈরি এবং মূল্যায়ন থেকে সহযোগিতামূলক এজেন্ট বিকাশের দিকে একটি পরিবর্তন প্রস্তাব করে, যা শুধুমাত্র চূড়ান্ত আউটপুট গুণমান অনুযায়ী নয়, বরং সমস্যা সমাধান প্রক্রিয়া জুড়ে তারা মানুষের সাথে কীভাবে ইন্টারঅ্যাক্ট করে এবং মানব প্রচেষ্টা বৃদ্ধি করে তা অনুযায়ী মূল্যায়ন করে। এই রূপান্তরকে সমর্থন করার জন্য, লেখকরা সহযোগিতামূলক প্রচেষ্টা স্কেলিং (collaborative effort scaling) কাঠামো প্রবর্তন করেছেন, যা ব্যবহারকারীর সম্পৃক্ততা বৃদ্ধির সাথে সাথে এজেন্ট উপযোগিতা কীভাবে বৃদ্ধি পায় তা ক্যাপচার করে। কেস স্টাডি এবং সিমুলেশন মূল্যায়নের মাধ্যমে, গবেষণা দেখায় যে অত্যাধুনিক এজেন্টগুলি বহু-রাউন্ড বাস্তব পরিস্থিতিতে দুর্বলভাবে কাজ করে, এজেন্ট ডিজাইনে অনুপস্থিত উপাদানগুলি প্রকাশ করে: সম্পৃক্ততা বজায় রাখা এবং ব্যবহারকারীর বোঝাপড়া সমর্থন করার ক্ষমতা।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যার সংজ্ঞা

মূল সমস্যা: বিদ্যমান এজেন্টগুলি প্রধানত একক-পাস কাজ সমাপ্তির জন্য অপ্টিমাইজ করা হয়েছে, কিন্তু বাস্তব-বিশ্বের জটিল কাজগুলি প্রায়শই মানব-মেশিন সহযোগিতার পুনরাবৃত্তিমূলক প্রক্রিয়া প্রয়োজন
সমস্যার গুরুত্ব: LLM এজেন্টগুলির জটিল জ্ঞান কাজে প্রয়োগ বৃদ্ধির সাথে সাথে, কার্যকর সহযোগিতা কীভাবে অর্জন করতে হয় তা একটি মূল চ্যালেঞ্জ হয়ে উঠেছে
বিদ্যমান সীমাবদ্ধতা:
- ব্যবহারকারীর চাহিদা স্থির এবং সম্পূর্ণভাবে নির্দিষ্ট বলে অনুমান করে
- ব্যবহারকারীর বোঝাপড়া নির্মাণ এবং লক্ষ্য বিবর্তনের প্রক্রিয়াকে উপেক্ষা করে
- সহযোগিতামূলক প্রক্রিয়ার গুণমান মূল্যায়নের জন্য প্রক্রিয়া অভাব

গবেষণা প্রেরণা

লেখকরা পাঁচটি ডোমেনে কেস স্টাডির মাধ্যমে (ডেটা বিশ্লেষণ, ভ্রমণ পরিকল্পনা, আর্থিক পরামর্শ, শিক্ষা, গণিত আবিষ্কার) আবিষ্কার করেছেন যে বর্তমান কাজ সমাপ্তি এজেন্টগুলি বহু-রাউন্ড ইন্টারঅ্যাকশনে সিস্টেমেটিক সমস্যা প্রদর্শন করে:

সম্পূর্ণ ফলাফল প্রাথমিকভাবে তৈরি করা যা হজম করা কঠিন
ব্যবহারকারীর প্রতিক্রিয়া কার্যকরভাবে একীভূত করতে অক্ষম
যুক্তি প্রক্রিয়ার স্বচ্ছতার অভাব
ব্যবহারকারীর চাহিদা বিকশিত হলে দুর্বল কর্মক্ষমতা

মূল অবদান

তাত্ত্বিক কাঠামো: সহযোগিতামূলক প্রচেষ্টা স্কেলিং (Collaborative Effort Scaling) কাঠামো প্রস্তাব করে, যা ব্যবহারকারীর প্রচেষ্টা এবং যৌথ উপযোগিতা দুটি মাত্রা থেকে মানব-মেশিন সহযোগিতার গুণমান মূল্যায়ন করে
মূল্যায়ন পদ্ধতি: সহযোগিতামূলক এজেন্টের কর্মক্ষমতা পরিমাপের জন্য মেট্রিক্সের একটি সিস্টেম ডিজাইন করা হয়েছে, যার মধ্যে রয়েছে ইন্টারঅ্যাকশন স্থায়িত্ব এবং সর্বোচ্চ উপলব্ধতা
অভিজ্ঞতামূলক অনুসন্ধান: সিমুলেশন পরীক্ষার মাধ্যমে প্রমাণ করে যে বর্তমান SOTA এজেন্টগুলি সহযোগিতামূলক পরিস্থিতিতে দুর্বলভাবে কাজ করে, সহযোগিতামূলক ডিজাইনের গুরুত্ব প্রকাশ করে
ডিজাইন অন্তর্দৃষ্টি: আরও কার্যকর সহযোগিতামূলক এজেন্ট তৈরির জন্য নির্দিষ্ট ডিজাইন নির্দেশনা এবং ডায়াগনস্টিক সরঞ্জাম প্রদান করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

মানব-মেশিন সহযোগিতাকে আংশিকভাবে পর্যবেক্ষণযোগ্য মার্কভ সিদ্ধান্ত প্রক্রিয়া (POMDP) হিসাবে মডেল করা হয়েছে:

কর্ম অনুক্রম: $a = [a_1^{(l_1)}, a_2^{(l_2)}, ..., a_T^{(l_T)}]$ , যেখানে $l_t \in \{H, A\}$ মানুষ বা এজেন্ট নির্দেশ করে
প্রসঙ্গ উইন্ডো: $c = [c_1^{(l_1)}, c_2^{(l_2)}, ..., c_T^{(l_T)}]$
সহযোগিতামূলক রাউন্ড: মানব-মেশিন হ্যান্ডঅফের মাধ্যমে সম্পূর্ণ প্রক্রিয়াকে রাউন্ডে বিভক্ত করা $a_k = a[i_k:j_k]$

কাঠামোর মূল উপাদান

1. দ্বি-মাত্রিক মূল্যায়ন সিস্টেম

ব্যবহারকারীর প্রচেষ্টা (User Effort): ব্যবহারকারী সহযোগিতা প্রক্রিয়ায় বিনিয়োগ করা জ্ঞানীয় এবং গবেষণা কাজ
- মৌলিক পরিমাপ: মানব-নেতৃত্বাধীন রাউন্ডের সংখ্যা $|a^H|$
- বর্ধিত পরিমাপ: প্রক্রিয়াকৃত প্রসঙ্গ টোকেনের সংখ্যা $\sum c^A$
যৌথ কর্মের উপযোগিতা (Utility of Joint Actions): মানব-মেশিন দল দ্বারা সম্পাদিত কাজের গুণমান

2. মূল সূচক সংজ্ঞা

সামগ্রিক উপযোগিতা: $U = \frac{1}{N}\sum_{i=1}^{N} \max U_k^{(i)}$

উন্নতি লাভ: $G = \frac{1}{N}\sum_{i=1}^{N} \max U_k^{(i)} - U_{k'_i}^{(i)}$

উপলব্ধতা হ্রাস: $D@\tau = \frac{1}{N}\sum_{i=1}^{N} U_{k_{i,\tau}}^{(i)} - U_{K_i}^{(i)}$

3. আদর্শ সহযোগিতামূলক বৈশিষ্ট্য

ইন্টারঅ্যাকশন স্থায়িত্ব: এজেন্ট ব্যবহারকারীর প্রচেষ্টা বৃদ্ধির সাথে সাথে বৃহত্তর মূল্য উৎপন্ন করা উচিত
সর্বোচ্চ উপলব্ধতা: এজেন্ট দীর্ঘমেয়াদী ইন্টারঅ্যাকশন উৎসাহিত এবং বজায় রাখা উচিত, ব্যবহারকারীকে প্রাথমিকভাবে পরিত্যাগ করা এড়াতে

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

ফলাফল-ভিত্তিক থেকে প্রক্রিয়া-ভিত্তিকে: শুধুমাত্র চূড়ান্ত আউটপুট গুণমানে নয়, সহযোগিতামূলক প্রক্রিয়ার কার্যকারিতায় বেশি মনোযোগ দেওয়া
স্কেলিং আইন অনুপ্রেরণা: মেশিন লার্নিংয়ে স্কেলিং আইন ধারণা থেকে অনুপ্রাণিত, সহযোগিতামূলক উপযোগিতার স্কেলিং বৈশিষ্ট্য অধ্যয়ন করা
বহু-পর্যায়ের মডেলিং: প্রাথমিক অনুরোধ পর্যায় এবং উন্নতি পর্যায় আলাদা করা, সহযোগিতামূলক গতিশীলতা আরও সঠিকভাবে ক্যাপচার করা

পরীক্ষামূলক সেটআপ

পরীক্ষামূলক পরিবেশ

প্ল্যাটফর্ম: Collaborative-Gym পরিবেশ, অ্যাসিঙ্ক্রোনাস মানব-মেশিন কর্ম সমর্থন করে
কাজ: ভ্রমণ পরিকল্পনা কাজ, উচ্চ-স্তরের বর্ণনা থেকে শুরু করে ভ্রমণপথ, আবাসন এবং পরিবহন সহ বিস্তারিত পরিকল্পনা তৈরি করা

মডেল কনফিগারেশন

পরীক্ষিত মডেল: GPT-4o, Claude 3.5 Sonnet, Claude 4.0 Sonnet, Llama-3.1 70B
এজেন্টের ধরন:
- স্বয়ংক্রিয় বেসলাইন এজেন্ট
- এক-পর্যায়ের সহযোগিতামূলক এজেন্ট
- দ্বি-পর্যায়ের সহযোগিতামূলক এজেন্ট (পরিকল্পনা পদক্ষেপ যোগ করা)

মূল্যায়ন সেটআপ

কর্মক্ষমতা পরিমাপ: সাধারণ জ্ঞান পাস হার এবং সীমাবদ্ধতা সন্তুষ্টির হারের উপর ভিত্তি করে গাণিতিক গড়
সিমুলেটেড ব্যবহারকারী: GPT-4o-এর উপর ভিত্তি করে প্রম্পট এজেন্ট, ব্যবহারকারীর পছন্দ এবং লক্ষ্যের অতিরিক্ত অ্যাক্সেস সহ
ইন্টারঅ্যাকশন সীমা: সর্বাধিক 30 রাউন্ড ইন্টারঅ্যাকশন

পরীক্ষামূলক ফলাফল

প্রধান অনুসন্ধান

1. সহযোগিতামূলক উপযোগিতা স্কেলিং প্রবণতা

সমস্ত এজেন্ট একই ধরনের সহযোগিতামূলক প্রচেষ্টা স্কেলিং প্রবণতা প্রদর্শন করে: প্রাথমিক উন্নতির পরে প্রায় 5 রাউন্ড ইন্টারঅ্যাকশনের পরে প্ল্যাটফর্ম পর্যায়ে পৌঁছায়
Claude সিরিজ মডেলগুলি সর্বোত্তম কর্মক্ষমতা প্রদর্শন করে, ব্যবহারকারীর প্রচেষ্টা কার্যকরভাবে ব্যবহার করে কর্মক্ষমতা উন্নতি অর্জন করতে পারে

2. মডেলের মধ্যে উল্লেখযোগ্য পার্থক্য

টেবিল 1-এর ফলাফল অনুযায়ী:

মডেল	কৌশল	সামগ্রিক উপযোগিতা	উন্নতি লাভ (আপেক্ষিক)	উপলব্ধতা হ্রাস (আপেক্ষিক)
Claude-4.0-sonnet	এক-পর্যায়	0.680	5.7%	-20.6%
Claude-4.0-sonnet	দ্বি-পর্যায়	0.681	5.2%	-34.9%
Claude-3.5-sonnet	এক-পর্যায়	0.450	13.6%	-29.7%
GPT-4o	এক-পর্যায়	0.507	4.9%	-20.8%

3. সহযোগিতামূলক কৌশলের প্রভাব

Claude-3.5-sonnet: দ্বি-পর্যায়ের পরিকল্পনা উল্লেখযোগ্যভাবে কর্মক্ষমতা উন্নত করে, 0.450 থেকে 0.687 পর্যন্ত
Claude-4.0-sonnet: এক-পর্যায় এবং দ্বি-পর্যায়ের কৌশল একই চূড়ান্ত উপযোগিতায় পৌঁছায়, কিন্তু দক্ষতা ভিন্ন
GPT-4o এবং Llama-3.1-70b: সহযোগিতামূলক সংস্করণ স্বয়ংক্রিয় বেসলাইন অতিক্রম করতে পারেনি

প্রচেষ্টা বরাদ্দ বিশ্লেষণ

ব্যবহারকারীর প্রচেষ্টার পার্থক্য

Claude-4.0-sonnet ছাড়া অন্যান্য মডেলগুলি সীমিত সুবিধার জন্য আরও বেশি টোকেন ব্যবহারকারীর ইনপুট প্রয়োজন
Claude-4.0-sonnet প্রচেষ্টার অনুপাতের বিস্তৃত পরিসরে শক্তিশালী কর্মক্ষমতা বজায় রাখে

সর্বোত্তম প্রচেষ্টা ভারসাম্য

এজেন্ট-ব্যবহারকারী প্রচেষ্টার অনুপাতের মডেল-নির্ভর সর্বোত্তম অনুপাত বিদ্যমান
যখন কোনো একটি পক্ষ ইন্টারঅ্যাকশনে অত্যধিক আধিপত্য বিস্তার করে, যৌথ কর্মক্ষমতা হ্রাস পায়

পরীক্ষামূলক অনুসন্ধান

ক্ষমতা কৌশল নির্ধারণ করে: দুর্বল মডেল ক্ষমতা আরও কাঠামোগত ইন্টারঅ্যাকশন স্ক্যাফোল্ডিং প্রয়োজন
সহযোগিতামূলক ডিজাইন গুরুত্বপূর্ণ: এমনকি শক্তিশালী মডেলগুলিও, সহযোগিতামূলক পদ্ধতির ডিজাইন সামগ্রিক কর্মক্ষমতাকে উল্লেখযোগ্যভাবে প্রভাবিত করে
প্রচেষ্টা ভারসাম্য গুরুত্বপূর্ণ: মানব-মেশিন প্রচেষ্টার বরাদ্দের সর্বোত্তম অনুপাত বিদ্যমান, যা মডেল ক্ষমতা অনুযায়ী সামঞ্জস্য করা প্রয়োজন

উপসংহার এবং আলোচনা

প্রধান উপসংহার

প্যারাডাইম পরিবর্তন প্রয়োজনীয়: কাজ সমাপ্তি থেকে সহযোগিতামূলক ক্ষমতা মূল্যায়নে পরিবর্তন প্রয়োজনীয়
বর্তমান এজেন্ট অপর্যাপ্ত: SOTA এজেন্টগুলি সহযোগিতামূলক পরিস্থিতিতে দুর্বলভাবে কাজ করে, সম্পৃক্ততা বজায় রাখা এবং বোঝাপড়া সমর্থনের ক্ষমতার অভাব
ডিজাইন নির্দেশনা: সহযোগিতামূলক প্রচেষ্টা স্কেলিং কাঠামো এজেন্ট সহযোগিতামূলক ক্ষমতা নির্ণয় এবং উন্নত করার জন্য কার্যকর সরঞ্জাম প্রদান করে

সীমাবদ্ধতা

পরীক্ষামূলক পরিসীমা: শুধুমাত্র একক ডোমেনে (ভ্রমণ পরিকল্পনা) পরীক্ষা করা হয়েছে, সমস্ত সহযোগিতামূলক গতিশীলতা কভার করতে পারে না
সিমুলেটেড ব্যবহারকারী: সিমুলেটেড ব্যবহারকারী ব্যবহার করা হয়েছে বাস্তব মানব অংশগ্রহণকারীর পরিবর্তে, বাস্তব ইন্টারঅ্যাকশন প্যাটার্ন সম্পূর্ণভাবে প্রতিফলিত নাও করতে পারে
পরিমাপ সরলীকরণ: সরলীকৃত উপযোগিতা এবং প্রচেষ্টা প্রক্সি সূচক ব্যবহার করা হয়েছে, বাস্তব সহযোগিতার জটিলতা আরও বেশি

ভবিষ্যত দিকনির্দেশনা

আরও সমৃদ্ধ সিমুলেশন পরিবেশ: ব্যবহারকারীর ব্যক্তিগত তথ্য বা ডোমেন জ্ঞান থাকে এমন পরিস্থিতি তৈরি করা
অভিযোজিত সহযোগিতামূলক কাঠামো: মডেল ক্ষমতার উপর ভিত্তি করে সহযোগিতামূলক কৌশল গতিশীলভাবে সামঞ্জস্য করা
মাল্টিমোডাল সহযোগিতা: দৃশ্য, কণ্ঠস্বর ইত্যাদি সহ মাল্টিমোডাল সহযোগিতা পরিস্থিতিতে সম্প্রসারণ করা

গভীর মূল্যায়ন

সুবিধা

সমস্যা সনাক্তকরণ সঠিক: বর্তমান এজেন্ট মূল্যায়নের মূল ত্রুটি সঠিকভাবে সনাক্ত করা
কাঠামো ডিজাইন যুক্তিসঙ্গত: সহযোগিতামূলক প্রচেষ্টা স্কেলিং কাঠামো ধারণা স্পষ্ট, অপারেশনাল শক্তিশালী
অভিজ্ঞতামূলক গবেষণা পর্যাপ্ত: কেস স্টাডি এবং সিমুলেশন পরীক্ষা একত্রিত করে, বহু-কোণ যাচাইকরণ প্রদান করে
ব্যবহারিক মূল্য উচ্চ: এজেন্ট বিকাশকারীদের জন্য নির্দিষ্ট ডিজাইন নির্দেশনা প্রদান করে

অপূর্ণতা

মূল্যায়ন সীমাবদ্ধতা: সিমুলেটেড পরিবেশ এবং প্রক্সি সূচক বাস্তব সহযোগিতার জটিলতা সম্পূর্ণভাবে ক্যাপচার করতে পারে না
মডেল কভারেজ সীমিত: পরীক্ষিত মডেলের সংখ্যা তুলনামূলকভাবে সীমিত, সিদ্ধান্তের সার্বজনীনতা যাচাইকরণের অপেক্ষায়
দীর্ঘমেয়াদী প্রভাব অজানা: দীর্ঘমেয়াদী সহযোগিতামূলক সম্পর্ক এবং শেখার প্রভাবের গবেষণা অভাব

প্রভাব

একাডেমিক অবদান: মানব-মেশিন সহযোগিতা গবেষণার জন্য নতুন তাত্ত্বিক কাঠামো এবং মূল্যায়ন পদ্ধতি প্রদান করে
ব্যবহারিক মূল্য: এজেন্ট পণ্য বিকাশে গুরুত্বপূর্ণ নির্দেশনা মূল্য রাখে
গবেষণা দিকনির্দেশনা: সহযোগিতামূলক গুণমানের উপর ফোকাস করে এমন আরও গবেষণা উৎসাহিত করতে পারে, শুধু কাজ সমাপ্তি নয়

প্রযোজ্য পরিস্থিতি

জ্ঞান কাজ: ডেটা বিশ্লেষণ, গবেষণা, পরামর্শ ইত্যাদি পুনরাবৃত্তিমূলক অন্বেষণ প্রয়োজন এমন ক্ষেত্র
শিক্ষা প্রশিক্ষণ: ক্রমান্বয়ে বোঝাপড়া নির্মাণ প্রয়োজন এমন শেখার পরিস্থিতি
সৃজনশীল কাজ: মানব-মেশিন যৌথ সৃষ্টি এবং উন্নতি প্রয়োজন এমন কাজ

তথ্যসূত্র

এই পেপারটি ব্যাপক সম্পর্কিত কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

মানব-মেশিন সহযোগিতা ডিজাইন নীতি (Amershi et al., 2019)
এজেন্ট মূল্যায়ন বেঞ্চমার্ক (Jimenez et al., 2023; Zhou et al., 2023)
ইন্টারঅ্যাক্টিভ মূল্যায়ন পদ্ধতি (Lee et al., 2023; Shao et al., 2024)
স্কেলিং আইন সম্পর্কিত গবেষণা (Hoffmann et al., 2022; Kaplan et al., 2020)

সংক্ষিপ্তসার: এই পেপারটি একটি গুরুত্বপূর্ণ এবং সময়োপযোগী গবেষণা প্রশ্ন উপস্থাপন করে, এজেন্টের সহযোগিতামূলক ক্ষমতা মূল্যায়ন এবং উন্নত করার জন্য একটি সিস্টেমেটিক কাঠামো প্রদান করে। যদিও পরীক্ষামূলক সেটআপে নির্দিষ্ট সীমাবদ্ধতা রয়েছে, তবে এর তাত্ত্বিক অবদান এবং ব্যবহারিক মূল্য এটিকে মানব-মেশিন সহযোগিতা ক্ষেত্রের একটি গুরুত্বপূর্ণ কাজ করে তোলে। এজেন্ট প্রযুক্তির দ্রুত বিকাশের সাথে সাথে, সহযোগিতামূলক গুণমানের উপর ফোকাস করে এমন এই গবেষণা দিকনির্দেশনা ক্রমবর্ধমান গুরুত্বপূর্ণ হয়ে উঠবে।

Completion $\neq$ Collaboration: Scaling Collaborative Effort with Agents

সমাপ্তি ≠\neq= সহযোগিতা: এজেন্টদের সাথে সহযোগিতামূলক প্রচেষ্টা স্কেলিং

সমাপ্তি $\neq$ সহযোগিতা: এজেন্টদের সাথে সহযোগিতামূলক প্রচেষ্টা স্কেলিং