This case study describes challenges and lessons learned on building Ocean Guard: a Machine Learning-Enabled System (MLES) for anomaly detection in the maritime domain. First, the paper presents the system's specification, and architecture. Ocean Guard was designed with a microservices' architecture to enable multiple teams to work on the project in parallel. Then, the paper discusses how the developers adapted contract-based design to MLOps for achieving that goal. As a MLES, Ocean Guard employs code, model, and data contracts to establish guidelines between its services. This case study hopes to inspire software engineers, machine learning engineers, and data scientists to leverage similar approaches for their systems.
- পেপার আইডি: 2506.06202
- শিরোনাম: MLOps with Microservices: A Case Study on the Maritime Domain
- লেখক: Renato Cordeiro Ferreira, Rowanne Trapmann, Willem-Jan van den Heuvel
- প্রতিষ্ঠান: Jheronimus Academy of Data Science (JADS), Eindhoven University of Technology (TUe), Tilburg University (TiU)
- শ্রেণীবিভাগ: cs.SE cs.AI cs.LG
- প্রকাশনার সময়: arXiv:2506.06202v2 cs.SE 11 Aug 2025
- পেপার লিঙ্ক: https://arxiv.org/abs/2506.06202
এই কেস স্টাডিটি Ocean Guard সিস্টেম নির্মাণের চ্যালেঞ্জ এবং শিক্ষণীয় বিষয়গুলি বর্ণনা করে: এটি সামুদ্রিক ডোমেইনে অসামান্যতা সনাক্তকরণের জন্য একটি মেশিন লার্নিং সক্ষম সিস্টেম (MLES)। পেপারটি প্রথমে সিস্টেম স্পেসিফিকেশন এবং আর্কিটেকচার উপস্থাপন করে। Ocean Guard মাইক্রোসার্ভিসেস আর্কিটেকচার ডিজাইন গ্রহণ করে, যা একাধিক দল সমান্তরালভাবে কাজ করতে সক্ষম করে। তারপর আলোচনা করা হয় কীভাবে ডেভেলপাররা চুক্তি-ভিত্তিক ডিজাইনকে MLOps-এ অভিযোজিত করেছে এই লক্ষ্য অর্জনের জন্য। MLES হিসাবে, Ocean Guard কোড, মডেল এবং ডেটা চুক্তি গ্রহণ করে সেবা-মধ্যস্থ নির্দেশিকা প্রতিষ্ঠা করতে।
- সামুদ্রিক ডিজিটাল রূপান্তর ত্বরান্বিত: আন্তর্জাতিক সামুদ্রিক সংস্থা (IMO) অনুযায়ী, আধুনিক জাহাজগুলি "ভাসমান ডেটা কেন্দ্র" হয়ে উঠেছে, যা শত শত সেন্সর দিয়ে সজ্জিত এবং বিশাল পরিমাণে বিষমধর্মী ডেটা উৎপন্ন করে
- জটিল অপারেশনাল পরিবেশ: সামুদ্রিক ডোমেইন আন্তর্জাতিক সীমানা জুড়ে ক্রমাগত গতিশীলতা, বৈচিত্র্যময় নিয়ন্ত্রক কাঠামো এবং আবহাওয়ার প্রভাবের জন্য সংবেদনশীলতা দ্বারা চিহ্নিত
- ডেটা প্রক্রিয়াকরণ চ্যালেঞ্জ: সিস্টেমকে বিভিন্ন ডেটা স্ট্রিম বৃহৎ আকারে গ্রহণ, প্রক্রিয়া এবং বিশ্লেষণ করতে সক্ষম হতে হবে, একই সাথে সংযোগ এবং দ্রুত পরিবর্তনশীল পরিস্থিতিতে অপারেশনাল নির্ভরযোগ্যতা বজায় রাখতে হবে
- প্রযুক্তি সংমিশ্রণের প্রয়োজন: MLOps সর্বোত্তম অনুশীলনগুলিকে মাইক্রোসার্ভিসেস আর্কিটেকচারের সাথে একত্রিত করা, সামুদ্রিক ডোমেইনের পূর্বাভাসমূলক বিশ্লেষণ, অসামান্যতা সনাক্তকরণ এবং রুট অপ্টিমাইজেশনের চাহিদা মোকাবেলা করতে
- বহু-দল সহযোগিতা: সফটওয়্যার ইঞ্জিনিয়ার, ডেটা বিজ্ঞানী এবং মেশিন লার্নিং ইঞ্জিনিয়ারদের মতো বহু-শৃঙ্খলাবদ্ধ দলগুলির সমান্তরাল উন্নয়নকে সমর্থন করার প্রয়োজন
- সিস্টেম স্কেলেবিলিটি: মাইক্রোসার্ভিসেস আর্কিটেকচার বিশেষভাবে সামুদ্রিক ডোমেইনের মডুলারিটি, স্কেলেবিলিটি এবং স্থিতিস্থাপকতার চাহিদার জন্য উপযুক্ত
- MLES-এর জন্য প্রযোজ্য চুক্তি-চালিত ডিজাইন পদ্ধতি প্রস্তাব: মাইক্রোসার্ভিসেসে কোড চুক্তির ধারণাকে ডেটা চুক্তি এবং মডেল চুক্তিতে প্রসারিত করা
- সম্পূর্ণ সামুদ্রিক অসামান্যতা সনাক্তকরণ সিস্টেম আর্কিটেকচার নির্মাণ: মাইক্রোসার্ভিসেস-ভিত্তিক Ocean Guard সিস্টেম, যা বহু-দল সমান্তরাল উন্নয়নকে সমর্থন করে
- MLOps-এ DDD-এর প্রয়োগ যাচাই: ডোমেইন-চালিত ডিজাইনের মাধ্যমে একীভূত ভাষা তৈরি করা, ক্রস-শৃঙ্খলাবদ্ধ দল যোগাযোগ উন্নত করা
- MLES উন্নয়নের ব্যবহারিক অভিজ্ঞতা প্রদান: সংযোগ, সারিবদ্ধতা এবং যোগাযোগের তিনটি প্রধান চ্যালেঞ্জ চিহ্নিত এবং সমাধান করা
তদন্তকারী (Investigator) কার্যকারিতা:
- I1-I6: ভৌগোলিক অবস্থান প্রদর্শন, ফিল্টারিং, বস্তু প্রকার সনাক্তকরণ, বহু-ডেটা উৎস পুনরুদ্ধার, মেটাডেটা দেখা, ট্র্যাজেক্টরি ট্র্যাকিং
- I7-I9: অসামান্যতা হাইলাইটিং, অসামান্যতা ফিল্টারিং, অসামান্যতা ব্যাখ্যা দেখা
অসামান্যতা সনাক্তকারী (Anomaly Detector) কার্যকারিতা:
- A1-A3: অসামান্যতা সনাক্তকরণ, অসামান্যতা তালিকাভুক্তকরণ, অসামান্যতা ব্যাখ্যা
- ব্যাখ্যাযোগ্যতা: ব্যাখ্যাযোগ্য মডেল বা ব্ল্যাক-বক্স ব্যাখ্যা কৌশল (SHAP, LIME) ব্যবহার করা
- সামঞ্জস্যতা: EU মান মেনে চলা, অন্যান্য সিস্টেমের সাথে দ্রুত একীকরণ সমর্থন করা
- স্থিতিস্থাপকতা: উচ্চ ক্ষমতা, উচ্চ গতির ডেটা উৎস পরিচালনা করা
- সম্মতি: GDPR এবং AI Act-এর মতো ইউরোপীয় নিয়মকানুন মেনে চলা
- ডেটা অধিগ্রহণ (Data Acquisition)
- তৃতীয় পক্ষের প্রদানকারী (1), শারীরিক সেন্সর (2), ডেটা ক্রলার (3)
- লেবেল স্টোরেজ (A) এবং কাঁচা ডেটা স্টোরেজ (B)
- ক্রমাগত প্রশিক্ষণ (Continuous Training)
- সিন্থেটিক ডেটা জেনারেশন পাইপলাইন (I), ডেটা বর্ধন পাইপলাইন (II)
- নিয়ম-ভিত্তিক প্রশিক্ষণ পাইপলাইন (III), ML-ভিত্তিক প্রশিক্ষণ পাইপলাইন (IV)
- মেটাডেটা স্টোরেজ (F) এবং মডেল রেজিস্ট্রি (G)
- সেবা (Serving)
- ব্যাচ পূর্বাভাস পাইপলাইন (VIII) এবং API পূর্বাভাস সেবা (8)
- পূর্বাভাস স্টোরেজ (H)
- পর্যবেক্ষণ (Monitoring)
- গভর্নেন্স অ্যাপ্লিকেশন (7) এবং টেলিমেট্রি স্টোরেজ (I)
- ক্রমাগত সরবরাহ (Continuous Delivery)
- CI পাইপলাইন (V), CD পাইপলাইন (VI), CD4ML পাইপলাইন (VII)
- আর্টিফ্যাক্ট রেজিস্ট্রি (D)
ষড়ভুজ আর্কিটেকচার (Hexagonal Architecture) গ্রহণ করা:
- মূল (Core): ব্যবসায়িক যুক্তি বাস্তবায়ন, DDD প্যাটার্ন অনুসরণ করা
- সত্তা (Entities), মূল্য বস্তু (Value Objects)
- সমষ্টি (Aggregates), সেবা (Services)
- পোর্ট (Ports): মূল এবং অ্যাডাপ্টারের মধ্যে চুক্তি প্রতিষ্ঠা করা
- ডাটাবেস রিপোজিটরি, নির্ভরতা ইনজেকশন, নিরাপত্তা প্রক্রিয়া, ওয়েব রাউটার
- অ্যাডাপ্টার (Adapters): বাহ্যিক নির্ভরতার সাথে যোগাযোগ করা
- পড়ার অ্যাডাপ্টার: মডেল, তৃতীয় পক্ষের API, স্টোরেজ, ডাটাবেস, কনফিগারেশন
- আউটপুট অ্যাডাপ্টার: ওয়েব, ক্যাশ
| দল | দায়িত্ব | উপাদান |
|---|
| গবেষণা দল | অত্যাধুনিক প্রযুক্তি অন্বেষণ | পরীক্ষা এবং প্রশিক্ষণ পাইপলাইন |
| উদ্ভাবন দল | ব্যবহারিক প্রযুক্তি অন্বেষণ | পরীক্ষা এবং প্রশিক্ষণ পাইপলাইন |
| মূল উন্নয়ন দল | ব্যাকএন্ড উন্নয়ন এবং অবকাঠামো | API, ডাটাবেস, মডেল রিপোজিটরি |
| UI উন্নয়ন দল | ফ্রন্টএন্ড উন্নয়ন এবং ইন্টারফেস ডিজাইন | ওয়েব অ্যাপ্লিকেশন |
- সংজ্ঞা: দুটি সেবার মধ্যে HTTP প্রোটোকলের মাধ্যমে সিঙ্ক্রোনাস/অ্যাসিঙ্ক্রোনাস মিথস্ক্রিয়া আচরণ নথিভুক্ত করা
- প্রয়োগের ক্ষেত্র:
- ডেটা ক্রলার এবং বাহ্যিক ডেটা উৎসের মধ্যে চুক্তি
- API পূর্বাভাস সেবা এবং ওয়েব অ্যাপ্লিকেশনের মধ্যে চুক্তি
- সংজ্ঞা: ডেটা স্টোরেজে প্রত্যাশিত ফর্ম্যাট নথিভুক্ত করা, যার মধ্যে রয়েছে প্রকার, ফর্ম্যাট, বিতরণ এবং পড়া-লেখার প্রোটোকল
- প্রয়োগের ক্ষেত্র:
- লেবেল স্টোরেজের উৎপাদক এবং ভোক্তাদের মধ্যে চুক্তি
- কাঁচা ডেটা স্টোরেজের বহু-পক্ষীয় চুক্তি
- প্রক্রিয়াকৃত ডেটার পাইপলাইন-মধ্যস্থ চুক্তি
- সংজ্ঞা: মডেলের প্রত্যাশিত ইনপুট-আউটপুট এবং স্টোরেজ ফর্ম্যাট নথিভুক্ত করা
- প্রয়োগের ক্ষেত্র: মডেল রেজিস্ট্রিতে প্রশিক্ষণ পাইপলাইন এবং পূর্বাভাস সেবার মধ্যে চুক্তি
DDD-এর মাধ্যমে ক্রস-দল ভাগ করা শব্দভান্ডার তৈরি করা, উন্নত করা:
- স্টেকহোল্ডার এবং ডেভেলপার বোঝাপড়া
- দল-মধ্যস্থ সারিবদ্ধতা
- ডেটা এবং মডেল ধারণা ব্যাখ্যা
- কোড রিপোজিটরি: কেন্দ্রীভূত উৎস কোড ব্যবস্থাপনা
- উন্নয়ন সরঞ্জাম: IDE (4) কাঠামোবদ্ধ সফটওয়্যার ইঞ্জিনিয়ারিংয়ের জন্য, Notebooks (5) ইন্টারেক্টিভ প্রোটোটাইপিং এবং বিশ্লেষণের জন্য
- CI/CD: ক্রমাগত একীকরণ পাইপলাইন, ক্রমাগত সরবরাহ পাইপলাইন, ML ক্রমাগত সরবরাহ পাইপলাইন
- কন্টেইনারাইজেশন: সংস্করণ-নিয়ন্ত্রিত সফটওয়্যার উপাদান পরিচালনা করতে আর্টিফ্যাক্ট রেজিস্ট্রি ব্যবহার করা
- সময়সূচী সেবা: বিভিন্ন উপাদান সম্পাদন সমন্বয় করা
- পর্যবেক্ষণ সিস্টেম: গভর্নেন্স অ্যাপ্লিকেশন মডেল এবং সিস্টেম ব্যবহার পর্যবেক্ষণ করা
- সংযোগ (Coupling)
- সমস্যা: সিস্টেম জটিলতা উপাদান পরিবর্তনকে সহজেই ক্যাসকেড প্রভাব ফেলতে দেয়
- সমাধান: চুক্তি-চালিত ডিজাইনের মাধ্যমে একীকরণ সমস্যা হ্রাস করা
- সারিবদ্ধতা (Alignment)
- সমস্যা: চারটি পেশাদার দল সমান্তরালভাবে কাজ করার সমন্বয় চ্যালেঞ্জ
- সমাধান: স্পষ্ট সীমানা সংজ্ঞা, CI/CD পাইপলাইন একীকরণ
- যোগাযোগ (Communication)
- সমস্যা: বিভিন্ন প্রযুক্তিগত পটভূমির স্টেকহোল্ডারদের কাছে সিস্টেম বিবর্তন ব্যাখ্যা করা
- সমাধান: DDD-এর মাধ্যমে একীভূত ভাষা প্রতিষ্ঠা করা
| প্রযুক্তি পদ্ধতি | সমাধান করা চ্যালেঞ্জ | নির্দিষ্ট প্রভাব |
|---|
| চুক্তি-চালিত ডিজাইন | সংযোগ + সারিবদ্ধতা | একীকরণ সমস্যা হ্রাস, সিস্টেম সংহতি উন্নত করা |
| একীভূত ভাষা | যোগাযোগ + সারিবদ্ধতা | বোঝাপড়া গভীর করা, প্রতিক্রিয়া গুণমান উন্নত করা |
- 2022 সাল থেকে: একাধিক MLES রেফারেন্স আর্কিটেকচার প্রস্তাবিত হয়েছে
- SE4AI: AI সিস্টেম তৈরির জন্য সফটওয়্যার ইঞ্জিনিয়ারিং প্রযুক্তি অভিযোজনের উদীয়মান ক্ষেত্র
- সিস্টেম উপাদান মডুলারাইজেশন: MLES একাধিক উপাদান হিসাবে বর্ণিত যা সেবা জুড়ে বিতরণ করা যায়
- 2015 সাল থেকে: মাইক্রোসার্ভিসেস আর্কিটেকচার শৈলী উত্থান, মডুলারিটি, স্কেলেবিলিটি এবং স্থিতিস্থাপকতা চ্যালেঞ্জ সমাধান করা
- সামুদ্রিক প্রযোজ্যতা: বিশেষায়িত উপাদান বিভিন্ন সামুদ্রিক ডেটা উৎস এবং বিশ্লেষণ চাহিদা পরিচালনা করা
- আর্কিটেকচার কার্যকারিতা: মাইক্রোসার্ভিসেস আর্কিটেকচার সফলভাবে বহু-পেশাদার দল দ্বারা MLES-এর সমান্তরাল উন্নয়ন সমর্থন করেছে
- চুক্তি সম্প্রসারণ: মাইক্রোসার্ভিসেসের কোড চুক্তি ধারণা সফলভাবে ডেটা এবং মডেল মাত্রায় প্রসারিত হয়েছে
- DDD প্রযোজ্যতা: ডোমেইন-চালিত ডিজাইন ক্রস-পেশাদার দল যোগাযোগ এবং সমন্বয় কার্যকরভাবে উন্নত করেছে
- চ্যালেঞ্জ মোকাবেলা: চুক্তি-চালিত ডিজাইন এবং একীভূত ভাষা সংযোগ, সারিবদ্ধতা এবং যোগাযোগ চ্যালেঞ্জ কার্যকরভাবে সমাধান করেছে
- সংবেদনশীলতা সীমাবদ্ধতা: প্রকল্প সংবেদনশীলতার কারণে, পেপারটি নির্দিষ্ট ডেটা মডেল এবং অসামান্যতা সনাক্তকরণ প্রযুক্তি জড়িত নয়
- একাডেমিক সীমাবদ্ধতা: গবেষণা এবং উদ্ভাবন দল শিক্ষার্থীদের নিয়ে গঠিত, একাডেমিক সময়সীমা দ্বারা সীমাবদ্ধ
- বাস্তবায়ন পর্যায়: সিস্টেম এখনও উন্নয়নাধীন, উৎপাদন পরিবেশে দীর্ঘমেয়াদী যাচাইকরণের অভাব
- কার্যকারিতা সম্পূর্ণতা: সমস্ত কার্যকরী এবং অ-কার্যকরী প্রয়োজনীয়তা পূরণের জন্য উন্নয়ন অব্যাহত রাখা
- প্রযুক্তি অন্বেষণ: গবেষণা এবং উদ্ভাবন দলের সাথে অত্যাধুনিক এবং ব্যবহারিক প্রযুক্তি অন্বেষণ অব্যাহত রাখা
- আর্কিটেকচার বিবর্তন: প্রতিষ্ঠিত চুক্তি পদ্ধতি এবং একীভূত ভাষার উপর ভিত্তি করে উন্নয়ন প্রক্রিয়া পরিচালনা করা
- উচ্চ ব্যবহারিক মূল্য: MLOps এবং মাইক্রোসার্ভিসেস সংমিশ্রণের সম্পূর্ণ কেস স্টাডি প্রদান করা
- পদ্ধতি উদ্ভাবন: চুক্তি-চালিত ডিজাইনকে ডেটা এবং মডেল মাত্রায় প্রসারিত করা মূল উদ্ভাবনী
- আর্কিটেকচার সম্পূর্ণতা: সিস্টেম আর্কিটেকচার ডিজাইন ব্যাপক, MLES-এর সমস্ত দিক কভার করা
- দল সহযোগিতা: বহু-পেশাদার দল সমান্তরাল উন্নয়নের চ্যালেঞ্জ সফলভাবে সমাধান করা
- ব্যবহারিক নির্দেশনা: অনুরূপ প্রকল্পগুলির জন্য অনুকরণীয় অভিজ্ঞতা এবং শিক্ষা প্রদান করা
- সীমিত প্রযুক্তিগত গভীরতা: সংবেদনশীলতা সীমাবদ্ধতার কারণে, নির্দিষ্ট ML অ্যালগরিদম এবং ডেটা প্রক্রিয়াকরণ বিবরণের অভাব
- অপর্যাপ্ত মূল্যায়ন: সিস্টেম কর্মক্ষমতা, স্কেলেবিলিটি ইত্যাদির পরিমাণগত মূল্যায়নের অভাব
- দীর্ঘমেয়াদী যাচাইকরণ অনুপস্থিত: সিস্টেম এখনও উৎপাদন পরিবেশে দীর্ঘমেয়াদে চলেনি
- তুলনামূলক বিশ্লেষণ অপর্যাপ্ত: অন্যান্য MLES আর্কিটেকচার সমাধানের সাথে তুলনার অভাব
- ডোমেইন অবদান: MLOps এবং মাইক্রোসার্ভিসেস সংমিশ্রণের জন্য গুরুত্বপূর্ণ ব্যবহারিক রেফারেন্স প্রদান করা
- পদ্ধতিগত মূল্য: চুক্তি-চালিত ডিজাইনের সম্প্রসারণ ব্যাপক প্রযোজ্যতা রয়েছে
- প্রকৌশল অনুশীলন: জটিল MLES-এর দল সহযোগিতার জন্য কার্যকর মডেল প্রদান করা
- পুনরুৎপাদনযোগ্যতা: আর্কিটেকচার ডিজাইন এবং পদ্ধতিবিদ্যা ভাল পুনরুৎপাদনযোগ্যতা রয়েছে
- বহু-দল MLES উন্নয়ন: একাধিক পেশাদার দল সমান্তরালভাবে উন্নয়ন প্রয়োজন এমন মেশিন লার্নিং সিস্টেম
- জটিল ডেটা প্রক্রিয়াকরণ: একাধিক উৎস বিষমধর্মী ডেটা জড়িত সিস্টেম আর্কিটেকচার ডিজাইন
- উচ্চ সম্মতি প্রয়োজনীয়তা: কঠোর নিয়ন্ত্রক প্রয়োজনীয়তা পূরণ প্রয়োজন এমন শিল্প প্রয়োগ
- স্কেলেবল সিস্টেম: উচ্চ মডুলারিটি এবং স্কেলেবিলিটি প্রয়োজন এমন ML সিস্টেম আর্কিটেকচার
পেপারটি 17টি গুরুত্বপূর্ণ সাহিত্য উদ্ধৃত করে, যা অন্তর্ভুক্ত করে:
- সামুদ্রিক ডিজিটাল রূপান্তর সম্পর্কিত গবেষণা
- মাইক্রোসার্ভিসেস আর্কিটেকচার এবং MLOps সর্বোত্তম অনুশীলন
- সফটওয়্যার ইঞ্জিনিয়ারিং পদ্ধতিবিদ্যা (DDD, ষড়ভুজ আর্কিটেকচার)
- মেশিন লার্নিং সিস্টেম ইঞ্জিনিয়ারিং (SE4AI)
সারসংক্ষেপ: এই পেপারটি Ocean Guard কেস স্টাডির মাধ্যমে, মাইক্রোসার্ভিসেস আর্কিটেকচারের MLOps-এ প্রয়োগ সফলভাবে প্রদর্শন করে, বিশেষত চুক্তি-চালিত ডিজাইনের বহু-দল সহযোগিতায় মূল্য। যদিও সংবেদনশীলতা সীমাবদ্ধতার কারণে প্রযুক্তিগত বিবরণে গভীরভাবে যেতে পারেনি, তবে এর পদ্ধতিগত অবদান এবং ব্যবহারিক নির্দেশনা মূল্য উল্লেখযোগ্য, অনুরূপ জটিল MLES প্রকল্পগুলির জন্য মূল্যবান আর্কিটেকচার ডিজাইন এবং দল সহযোগিতা অভিজ্ঞতা প্রদান করে।