দূরবর্তী অনুমান হালকা ওজনের ডিভাইসগুলিকে শক্তিশালী ক্লাউড মডেলগুলি ব্যবহার করতে দেয়। তবে যোগাযোগ নেটওয়ার্ক বিলম্ব পূর্বাভাসের ফলাফলগুলিকে পুরানো করে তোলে, যা রিয়েল-টাইম কাজের জন্য অনুপযুক্ত। এই সমস্যার সমাধানের জন্য, এই পেপারটি Dedelayed প্রবর্তন করে, একটি বিলম্ব সংশোধন পদ্ধতি যা যেকোনো দূরবর্তী অনুমান বিলম্ব প্রশমিত করতে পারে, স্থানীয় ডিভাইসগুলিকে রিয়েল-টাইমে কম বিলম্ব আউটপুট তৈরি করতে দেয়। এই পদ্ধতিটি বর্তমান ফ্রেম প্রক্রিয়া করার জন্য একটি হালকা স্থানীয় মডেল ব্যবহার করে এবং অতীত ফ্রেম থেকে গণনা করা ভারী দূরবর্তী মডেলের বৈশিষ্ট্যগুলি একীভূত করে। BDD100K ড্রাইভিং ডেটাসেটের ভিডিওতে, Dedelayed সমস্ত ৩৩ms এর বেশি বাস্তব যোগাযোগ নেটওয়ার্ক বিলম্বে বিশুদ্ধ স্থানীয় এবং বিশুদ্ধ দূরবর্তী ভিত্তিরেখার শক্তিশালী সংস্করণের তুলনায় সিমান্টিক বিভাজন নির্ভুলতা উন্নত করে। অতিরিক্ত বিলম্ব ছাড়াই, ১০০ms রাউন্ড-ট্রিপ বিলম্বের জন্য, বিশুদ্ধ স্থানীয় অনুমানের তুলনায় ৬.৪ mIoU এবং দূরবর্তী অনুমানের তুলনায় ৯.৮ mIoU উন্নতি হয়।
এই গবেষণা যে মূল সমস্যাটি সমাধান করতে চায় তা হল: রিয়েল-টাইম ভিডিও প্রক্রিয়াকরণ অ্যাপ্লিকেশনে, পূর্বাভাস নির্ভুলতা নিশ্চিত করার সাথে সাথে দূরবর্তী অনুমানের নেটওয়ার্ক বিলম্ব কীভাবে অতিক্রম করতে হয়।
১. রিয়েল-টাইম অ্যাপ্লিকেশন প্রয়োজন: স্বয়ংচালিত গাড়ি, রোবট নিয়ন্ত্রণ, পরিধানযোগ্য ডিভাইস ইত্যাদি অ্যাপ্লিকেশনগুলি বিলম্বের প্রতি অত্যন্ত সংবেদনশীল, পুরানো পূর্বাভাস বিপর্যয়কর পরিণতি হতে পারে ২. সম্পদ সীমাবদ্ধতা: মোবাইল ডিভাইসগুলি শক্তি খরচ এবং গণনা ক্ষমতা দ্বারা সীমাবদ্ধ, জটিল গভীর শিক্ষা মডেল চালাতে পারে না ३. ক্লাউড সুবিধা: ক্লাউড GPU শক্তিশালী গণনা ক্ষমতা রয়েছে, উচ্চ রেজোলিউশন ভিডিও এবং জটিল মডেল পরিচালনা করতে পারে
বিদ্যমান বিতরণকৃত গণনা পদ্ধতিতে তিনটি প্রধান ত্রুটি রয়েছে: १. সমস্ত ডিভাইস সম্পদ একটি একক রৈখিক অনুমান পাইপলাইনে বরাদ্দ করে, স্থানীয় ব্যাকআপ বিকল্পের জন্য কোনো সম্পদ সংরক্ষণ করে না २. বিলম্বের পূর্বাভাস নির্ভুলতার উপর প্রভাব বিবেচনা করে না ३. গণনা খরচ পরিচালনা করার জন্য স্থানকালীন রেজোলিউশন উল্লেখযোগ্যভাবে হ্রাস করে, আধুনিক ক্যামেরা সিস্টেমের সমৃদ্ধ ভিজ্যুয়াল বিবরণ হারায়
মানব ভিজ্যুয়াল সিস্টেম দ্বারা অনুপ্রাণিত, অপটিক স্নায়ু শুধুমাত্র রেটিনা দ্বারা গৃহীত তথ্যের একটি ছোট অংশ প্রেরণ করতে পারে, প্রাথমিক প্রক্রিয়াকরণ প্রধানত সংকোচন সম্পাদন করে, তারপর ভিজ্যুয়াল কর্টেক্সের গভীর স্তরে বিপাকীয় নিবিড় প্রক্রিয়াকরণ ঘটে। একইভাবে, ডিজিটাল ভিডিও সেন্সর দিয়ে সজ্জিত মেশিনগুলি অনুরূপ সীমাবদ্ধতার সম্মুখীন হয়।
१. Dedelayed ফ্রেমওয়ার্ক প্রস্তাব: একটি বিলম্ব-সচেতন বিতরণকৃত অনুমান ফ্রেমওয়ার্ক যা স্থানীয় রিয়েল-টাইম তথ্য এবং দূরবর্তী বিলম্বিত বৈশিষ্ট্যগুলি একীভূত করে নেটওয়ার্ক বিলম্বের প্রভাব প্রশমিত করে २. বিলম্ব পরিমাণকরণ বিশ্লেষণ: ঘন ভিজ্যুয়াল পূর্বাভাস নির্ভুলতার উপর বিলম্বের প্রভাবের পরিমাণগত পরিমাপ প্রদান করে ३. বাস্তব সিস্টেম যাচাইকরণ: শহুরে ড্রাইভিং দৃশ্য ভিডিও বিভাজন কাজে সিস্টেম কার্যকারিতা যাচাই করে, বিদ্যমান স্থানীয় বা দূরবর্তী অনুমান পরিকল্পনা অতিক্রম করে ४. সহজ এবং কার্যকর সংমিশ্রণ কৌশল: সংযোজন-ভিত্তিক বৈশিষ্ট্য সংমিশ্রণ ব্যবহার করে, স্থাপনা এবং অন্যান্য রিয়েল-টাইম পদ্ধতিতে সম্প্রসারণ সহজ
সময় t-তে নতুন ইনপুট ফ্রেম x_t দেওয়া, চূড়ান্ত পূর্বাভাস ŷ_t হালকা স্থানীয় মডেল f_light দ্বারা গণনা করা হয়, যা x_t প্রক্রিয়া করে এবং ভারী দূরবর্তী মডেল f_heavy থেকে সময়ের বিলম্বিত বৈশিষ্ট্য z_{t-τ} একীভূত করে।
গাণিতিক প্রতিনিধিত্ব:
z_{t-τ} = f_heavy(τ, x_{≤t-τ}) (1)
ŷ_t = f_light(x_t, z_{t-τ}) (2)
Dedelayed সিস্টেমে দুটি প্রধান উপাদান রয়েছে: १. স্থানীয় হালকা মডেল: বর্তমান ফ্রেম প্রক্রিয়া করে, রিয়েল-টাইম প্রতিক্রিয়া ক্ষমতা প্রদান করে २. দূরবর্তী পূর্বাভাস মডেল: ঐতিহাসিক ফ্রেম ক্রম প্রক্রিয়া করে, উচ্চ মানের বৈশিষ্ট্য প্রদান করে
१. বিলম্ব এম্বেডিং প্রক্রিয়া: পাঠ্য বা ভিজ্যুয়াল ট্রান্সফর্মারে অবস্থান এম্বেডিং এর মতো, দূরবর্তী মডেলকে চ্যানেল পরিবর্তনের সাথে খাপ খাইয়ে নিতে দেয় २. সময়গত পূর্বাভাস প্রশিক্ষণ: তত্ত্বাবধানকৃত প্রশিক্ষণের সময় D ফ্রেম বিলম্ব অনুকরণ করে, দূরবর্তী মডেলকে ভবিষ্যত পূর্বাভাস দিতে প্রশিক্ষণ দেয় ३. মিশ্র রেজোলিউশন অনুমান: স্থানীয় মডেল কম রেজোলিউশন ব্যবহার করে, দূরবর্তী মডেল উচ্চ রেজোলিউশন মাল্টি-ফ্রেম প্রক্রিয়াকরণ ব্যবহার করে ४. কর্মক্ষমতা গ্যারান্টি: সিস্টেম কর্মক্ষমতা কখনও কোনো স্বাধীন মডেলের চেয়ে খারাপ নয়
१. স্থানীয় ছবি: ঐতিহ্যবাহী একক-ফ্রেম স্থানীয় অনুমান २. দূরবর্তী ছবি: ঐতিহ্যবাহী একক-ফ্রেম দূরবর্তী অনুমান ३. দূরবর্তী ভিডিও: দূরবর্তী ভিডিও প্রক্রিয়াকরণ কিন্তু ভবিষ্যত পূর্বাভাস নয় ४. দূরবর্তী পূর্বাভাসমূলক: বিলম্ব-সচেতন দূরবর্তী পূর্বাভাস মডেল ५. স্থানীয় + দূরবর্তী পূর্বাভাসমূলক: সম্পূর্ণ Dedelayed সিস্টেম
१. উল্লেখযোগ্য কর্মক্ষমতা উন্নতি:
२. বিলম্ব স্থিতিস্থাপকতা:
পরীক্ষা প্রতিটি উপাদানের অবদান যাচাই করে:
দূরবর্তী সহায়তাপ্রাপ্ত স্থানীয় মডেল নির্ভুলতা হ্রাস ছাড়াই কম রেজোলিউশনে চলতে পারে, সিস্টেমের সম্পদ দক্ষতা প্রদর্শন করে।
EfficientViT, MobileNetV4 এর মতো বিদ্যমান কাজ ডিভাইস কর্মক্ষমতা রিয়েল-টাইম অর্জনের জন্য গণনা ন্যূনতম করার উপর দৃষ্টি নিবদ্ধ করে, কিন্তু ডিভাইস শক্তি খরচ এবং গণনা সীমাবদ্ধতা দ্বারা সীমাবদ্ধ।
সম্পর্কিত কাজের তুলনায়, Dedelayed সামঞ্জস্যযোগ্য বিলম্ম শর্তকরণের মাধ্যমে দীর্ঘ এবং পরিবর্তনশীল বিলম্বে সাধারণীকরণ করে, ডিজাইন সরলতা এবং পুনরায় ব্যবহারযোগ্যতা বজায় রেখে।
१. Dedelayed রিয়েল-টাইম সিস্টেমে দূরবর্তী গণনার মূল চ্যালেঞ্জ সফলভাবে সমাধান করে: নেটওয়ার্ক বিলম্ব দ্বারা সৃষ্ট পূর্বাভাস পুরানো সমস্যা २. বিলম্বকে প্রথম-শ্রেণীর পরিবর্তনশীল হিসাবে উন্নীত করে, সিস্টেম বাস্তব নেটওয়ার্ক অবস্থার অধীনে শক্তিশালী ভিত্তিরেখা অতিক্রম করে ३. ফ্রেমওয়ার্ক বিস্তৃত রিয়েল-টাইম সমস্যা ডোমেনে প্রযোজ্য, স্মার্ট সিস্টেমগুলিকে সঠিক এবং সময়োপযোগী নির্ভরযোগ্য করে তোলে
१. স্থির বিলম্ব অনুমান: বর্তমান বাস্তবায়ন প্রধানত তুলনামূলকভাবে স্থিতিশীল বিলম্বের জন্য, চরম জিটারের অভিযোজনযোগ্যতা সীমিত २. গণনা ওভারহেড: যদিও স্থানীয় মডেল হালকা, তবুও অতিরিক্ত সংমিশ্রণ গণনা প্রয়োজন ३. ডেটাসেট সীমাবদ্ধতা: প্রধানত ড্রাইভিং দৃশ্যে যাচাই করা হয়, অন্যান্য ডোমেনে সাধারণীকরণ যাচাই করা প্রয়োজন ४. নেটওয়ার্ক নির্ভরতা: সম্পূর্ণভাবে নেটওয়ার্ক সংযোগের উপর নির্ভর করে, নেটওয়ার্ক বাধা হলে শুধুমাত্র স্থানীয় মডেলের উপর নির্ভর করতে পারে
পেপারটি ভবিষ্যত গবেষণা প্রস্তাব করে যার মধ্যে রয়েছে: १. পরিবর্তনশীল এবং র্যান্ডম বিলম্ব বিতরণ গবেষণা २. উচ্চ গতির ডেটা পরিচালনা ३. আরও হালকা স্থানীয় মডেল বিকাশ ४. স্থানীয় ভবিষ্যত পূর্বাভাস ক্ষমতা অন্বেষণ
१. সমস্যার গুরুত্ব: প্রান্ত গণনায় মূল সমস্যা সমাধান করে, গুরুত্বপূর্ণ ব্যবহারিক মূল্য রয়েছে २. পদ্ধতি উদ্ভাবন: বিলম্ম এম্বেডিং এবং সময়গত পূর্বাভাস প্রশিক্ষণের সমন্বয় নতুনত্ব রয়েছে ३. পরীক্ষা সম্পূর্ণতা: ব্যাপক অ্যাবলেশন পরীক্ষা এবং বিলম্ব জিটার বিশ্লেষণ ४. ব্যবহারিক শক্তি: বিদ্যমান মডেলের উপর ভিত্তি করে সহজ সংমিশ্রণ কৌশল, স্থাপনা সহজ ५. তাত্ত্বিক ভিত্তি: মানব ভিজ্যুয়াল সিস্টেম দ্বারা অনুপ্রাণিত, জৈবিক যুক্তিসঙ্গততা রয়েছে
१. মূল্যায়ন পরিসীমা সীমিত: শুধুমাত্র সিমান্টিক বিভাজন কাজে যাচাই করা হয়, অন্যান্য কাজের যাচাইকরণ অভাব २. বিলম্ব পরিসীমা: সর্বাধিক १६५ms বিলম্ব সমস্ত বাস্তব দৃশ্যকল্প কভার করার জন্য যথেষ্ট নাও হতে পারে ३. গণনা খরচ বিশ্লেষণ অপর্যাপ্ত: বিস্তারিত গণনা এবং যোগাযোগ খরচ বিশ্লেষণ অভাব ४. আরও ভিত্তিরেখার সাথে তুলনা: আরও সাম্প্রতিক প্রান্ত গণনা পদ্ধতির সাথে তুলনা করা যেতে পারে
१. একাডেমিক অবদান: প্রান্ত-ক্লাউড সহযোগী অনুমানের জন্য নতুন সমাধান চিন্তাভাবনা প্রদান করে २. ব্যবহারিক মূল্য: স্বয়ংচালিত গাড়ি, রোবট ইত্যাদি ক্ষেত্রে সরাসরি প্রয়োগ সম্ভাবনা রয়েছে ३. পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন কোড প্রদান করে, পুনরুৎপাদন এবং সম্প্রসারণ সহজতর করে
१. স্বয়ংচালিত গাড়ি: গাড়ি-চালিত সিস্টেম রিয়েল-টাইম এবং নির্ভুল পরিবেশ উপলব্ধি প্রয়োজন २. মোবাইল রোবট: নেভিগেশন এবং বাধা এড়ানো কম বিলম্ব প্রতিক্রিয়া প্রয়োজন ३. AR/VR অ্যাপ্লিকেশন: রিয়েল-টাইম দৃশ্য বোঝা এবং রেন্ডারিং ४. ভিডিও নজরদারি: রিয়েল-টাইম লক্ষ্য সনাক্তকরণ এবং ট্র্যাকিং
পেপারটি সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:
সামগ্রিক মূল্যায়ন: এটি একটি ব্যবহারিক সমস্যা সমাধানকারী উচ্চ মানের পেপার, যা প্রস্তাবিত Dedelayed ফ্রেমওয়ার্ক তত্ত্ব এবং অনুশীলন উভয় ক্ষেত্রেই গুরুত্বপূর্ণ মূল্য রাখে। পদ্ধতি সহজ এবং কার্যকর, পরীক্ষা যাচাইকরণ সম্পূর্ণ, প্রান্ত-ক্লাউড সহযোগী অনুমান ক্ষেত্রে মূল্যবান অবদান প্রদান করে। যদিও মূল্যায়ন পরিসীমা এবং বিলম্ম প্রক্রিয়াকরণ ক্ষমতায় উন্নতির জায়গা রয়েছে, সামগ্রিকভাবে এটি একটি অর্থপূর্ণ গবেষণা কাজ।