LLM Agents Beyond Utility: An Open-Ended Perspective
Nachkov, Wang, Van Gool
Recent LLM agents have made great use of chain of thought reasoning and function calling. As their capabilities grow, an important question arises: can this software represent not only a smart problem-solving tool, but an entity in its own right, that can plan, design immediate tasks, and reason toward broader, more ambiguous goals? To study this question, we adopt an open-ended experimental setting where we augment a pretrained LLM agent with the ability to generate its own tasks, accumulate knowledge, and interact extensively with its environment. We study the resulting open-ended agent qualitatively. It can reliably follow complex multi-step instructions, store and reuse information across runs, and propose and solve its own tasks, though it remains sensitive to prompt design, prone to repetitive task generation, and unable to form self-representations. These findings illustrate both the promise and current limits of adapting pretrained LLMs toward open-endedness, and point to future directions for training agents to manage memory, explore productively, and pursue abstract long-term goals.
academic
LLM এজেন্ট ইউটিলিটির বাইরে: একটি ওপেন-এন্ডেড দৃষ্টিভঙ্গি
সাম্প্রতিক LLM এজেন্টগুলি চিন্তাধারার শৃঙ্খল এবং ফাংশন কলিং এর ব্যাপক ব্যবহার করেছে। তাদের ক্ষমতা বৃদ্ধির সাথে সাথে একটি গুরুত্বপূর্ণ প্রশ্ন উদ্ভূত হয়: এই সফটওয়্যারটি কি শুধুমাত্র একটি স্মার্ট সমস্যা সমাধানের সরঞ্জাম নয়, বরং নিজের অধিকারে একটি সত্তা হতে পারে, যা পরিকল্পনা করতে, তাৎক্ষণিক কাজ ডিজাইন করতে এবং আরও বিস্তৃত, আরও অস্পষ্ট লক্ষ্যের দিকে যুক্তি করতে পারে? এই প্রশ্নটি অধ্যয়ন করার জন্য, আমরা একটি ওপেন-এন্ডেড পরীক্ষামূলক সেটিং গ্রহণ করি যেখানে আমরা একটি প্রাক-প্রশিক্ষিত LLM এজেন্টকে নিজস্ব কাজ তৈরি করার, জ্ঞান সংগ্রহ করার এবং তার পরিবেশের সাথে ব্যাপকভাবে যোগাযোগ করার ক্ষমতা দিয়ে বর্ধিত করি। আমরা ফলস্বরূপ ওপেন-এন্ডেড এজেন্টটি গুণগতভাবে অধ্যয়ন করি। এটি জটিল বহু-পদক্ষেপ নির্দেশাবলী নির্ভরযোগ্যভাবে অনুসরণ করতে পারে, চলাফেরা জুড়ে তথ্য সংরক্ষণ এবং পুনরায় ব্যবহার করতে পারে এবং নিজস্ব কাজ প্রস্তাব এবং সমাধান করতে পারে, যদিও এটি প্রম্পট ডিজাইনের প্রতি সংবেদনশীল থাকে, পুনরাবৃত্তিমূলক কাজ তৈরির প্রবণতা রয়েছে এবং স্ব-প্রতিনিধিত্ব গঠন করতে অক্ষম। এই অনুসন্ধানগুলি ওপেন-এন্ডেডনেসের দিকে প্রাক-প্রশিক্ষিত LLM গুলি অভিযোজনের প্রতিশ্রুতি এবং বর্তমান সীমাবদ্ধতা উভয়ই চিত্রিত করে এবং স্মৃতি পরিচালনা, উৎপাদনশীলভাবে অন্বেষণ এবং বিমূর্ত দীর্ঘমেয়াদী লক্ষ্য অনুসরণ করার জন্য এজেন্টগুলি প্রশিক্ষণের জন্য ভবিষ্যত দিকনির্দেশনা নির্দেশ করে।
এই গবেষণা একটি মৌলিক প্রশ্ন অন্বেষণ করে: বড় ভাষা মডেল বুদ্ধিমান এজেন্টগুলি কি ঐতিহ্যবাহী সরঞ্জাম ভূমিকার বাইরে যেতে পারে এবং স্বায়ত্তশাসিত সত্তা হয়ে উঠতে পারে, যা পরিকল্পনা করতে, তাৎক্ষণিক কাজ ডিজাইন করতে এবং আরও বিস্তৃত, আরও অস্পষ্ট লক্ষ্যের দিকে যুক্তি করতে পারে?
এজেন্ট বিবর্তনের মূল বিন্দু: বর্তমান LLM এজেন্টগুলি প্রধানত চিন্তাধারার শৃঙ্খল এবং ফাংশন কলিং এর মাধ্যমে নির্দিষ্ট কাজ সমাধান করে, কিন্তু সারাংশে এখনও সরঞ্জাম
স্বায়ত্তশাসনের গুণগত লাফ: পূর্বনির্ধারিত কাজ সমাধান থেকে স্বায়ত্তশাসিত কাজ ডিজাইন, ক্রমাগত অস্তিত্ব এবং পরিবেশে স্থায়ী প্রভাব ফেলার দিকে
ওপেন-এন্ডেড বুদ্ধিমত্তার অন্বেষণ: এমন পরিবেশে এজেন্টের আচরণ অধ্যয়ন করা যেখানে কোনো নির্দিষ্ট সমাপ্তি অবস্থা, কাজের পরিধি বা চূড়ান্ত লক্ষ্য নেই
লেখকরা বিশ্বাস করেন যে ওপেন-এন্ডেড এজেন্টগুলির বর্তমান এজেন্টগুলির থেকে আলাদা বৈশিষ্ট্য প্রয়োজন, যার মধ্যে রয়েছে স্বায়ত্তশাসিত অন্বেষণ, পরিবেশ গঠনের ক্ষমতা এবং স্ব-উৎপাদিত লক্ষ্য (autotelic) বৈশিষ্ট্য।
ওপেন-এন্ডেড এজেন্ট: এমন একটি এজেন্ট যা কোনো নির্দিষ্ট সমাপ্তি অবস্থা, কাজের পরিধি বা চূড়ান্ত লক্ষ্য ছাড়াই পরিবেশে স্বায়ত্তশাসিতভাবে অন্বেষণ করতে, কাজ তৈরি করতে এবং ক্রমাগত যোগাযোগ করতে পারে। এই এজেন্টের নিম্নলিখিত বৈশিষ্ট্য থাকা উচিত:
1. ব্যবহারকারী ইনপুট/প্রতিক্রিয়া গ্রহণ
2. দীর্ঘমেয়াদী স্মৃতি অ্যাক্সেস
3. কাজ তৈরি (স্বায়ত্তশাসিত বা ব্যবহারকারী ইনপুটের উপর ভিত্তি করে)
4-6. ReAct লুপ (পরিকল্পনা-কর্ম-পর্যবেক্ষণ)
7. দীর্ঘমেয়াদী স্মৃতি আপডেট
এই পত্রটি ওপেন-এন্ডেড শিক্ষা, স্ব-চালিত এজেন্ট, কৌতূহল-চালিত শিক্ষা এবং অন্যান্য ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:
স্ব-চালিত এজেন্ট: Colas et al. (2022) অভ্যন্তরীণ প্রেরণা লক্ষ্য-শর্তযুক্ত শক্তিশালী শিক্ষার সংক্ষিপ্তসার
কৌতূহল-চালিত শিক্ষা: Burda et al. (2018) বৃহৎ-স্কেল কৌতূহল-চালিত শিক্ষা গবেষণা
সরঞ্জাম ব্যবহার: Qin et al. (2024) মৌলিক মডেলের সরঞ্জাম শিক্ষা সংক্ষিপ্তসার
ReAct ফ্রেমওয়ার্ক: Yao et al. (2023) যুক্তি এবং কর্ম সহযোগিতার ভাষা মডেল কাঠামো
Voyager: Wang et al. (2023) ওপেন-এন্ডেড মূর্ত এজেন্টের সম্পর্কিত কাজ
সামগ্রিক মূল্যায়ন: এটি একটি দূরদর্শী অন্বেষণমূলক গবেষণা যা প্রযুক্তিগত গভীরতা এবং পরীক্ষা স্কেলে সীমাবদ্ধতা থাকলেও, LLM এজেন্টের সরঞ্জাম থেকে ওপেন-এন্ডেড স্বায়ত্তশাসিত সত্তায় বিবর্তনের জন্য গুরুত্বপূর্ণ প্রাথমিক অন্বেষণ এবং গভীর অন্তর্দৃষ্টি প্রদান করে। পত্রটির মূল্য প্রধানত সমস্যা উত্থাপন এবং দিকনির্দেশনা প্রদানে প্রতিফলিত হয়, পরবর্তী আরও গভীর গবেষণার ভিত্তি স্থাপন করে।