2025-11-22T23:46:16.732962

Optimizing Grasping in Legged Robots: A Deep Learning Approach to Loco-Manipulation

Almeida, Lazzarini, Negri et al.
This paper presents a deep learning framework designed to enhance the grasping capabilities of quadrupeds equipped with arms, with a focus on improving precision and adaptability. Our approach centers on a sim-to-real methodology that minimizes reliance on physical data collection. We developed a pipeline within the Genesis simulation environment to generate a synthetic dataset of grasp attempts on common objects. By simulating thousands of interactions from various perspectives, we created pixel-wise annotated grasp-quality maps to serve as the ground truth for our model. This dataset was used to train a custom CNN with a U-Net-like architecture that processes multi-modal input from an onboard RGB and depth cameras, including RGB images, depth maps, segmentation masks, and surface normal maps. The trained model outputs a grasp-quality heatmap to identify the optimal grasp point. We validated the complete framework on a four-legged robot. The system successfully executed a full loco-manipulation task: autonomously navigating to a target object, perceiving it with its sensors, predicting the optimal grasp pose using our model, and performing a precise grasp. This work proves that leveraging simulated training with advanced sensing offers a scalable and effective solution for object handling.
academic

āĻĻā§āĻŦāĻŋāĻĒāĻĻ āϰ⧋āĻŦāĻŸā§‡ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻ…āĻĒāϟāĻŋāĻŽāĻžāχāĻœā§‡āĻļāύ: āϞ⧋āϕ⧋-āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ⧇āϰ āϜāĻ¨ā§āϝ āĻāĻ•āϟāĻŋ āĻ—āĻ­ā§€āϰ āĻļāĻŋāĻ•ā§āώāĻž āĻĒāĻĻā§āϧāϤāĻŋ

āĻŽā§ŒāϞāĻŋāĻ• āϤāĻĨā§āϝ

  • āĻĒ⧇āĻĒāĻžāϰ āφāχāĻĄāĻŋ: 2508.17466
  • āĻļāĻŋāϰ⧋āύāĻžāĻŽ: āĻĻā§āĻŦāĻŋāĻĒāĻĻ āϰ⧋āĻŦāĻŸā§‡ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻ…āĻĒāϟāĻŋāĻŽāĻžāχāĻœā§‡āĻļāύ: āϞ⧋āϕ⧋-āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ⧇āϰ āϜāĻ¨ā§āϝ āĻāĻ•āϟāĻŋ āĻ—āĻ­ā§€āϰ āĻļāĻŋāĻ•ā§āώāĻž āĻĒāĻĻā§āϧāϤāĻŋ
  • āϞ⧇āĻ–āĻ•: āĻĄāĻŋāϞāĻžāϰāĻŽā§āϝāĻžāĻ¨ā§āĻĄā§‹ āφāϞāĻŽā§‡āχāĻĄāĻž, āĻ—āĻŋāϞāĻšāĻžāĻ°ā§āĻŽā§‡ āϞāĻžāϜāĻžāϰāĻŋāύāĻŋ, āϜ⧁āϞāĻŋāϝāĻŧāĻžāύ⧋ āύ⧇āĻ—ā§āϰāĻŋ, āĻĨāĻŋāϝāĻŧāĻžāĻ—ā§‹ āĻāχāϚ. āϏ⧇āĻ—ā§āϰ⧇āĻŸā§‹, āϰāĻŋāĻ•āĻžāĻ°ā§āĻĄā§‹ āĻ­āĻŋ. āĻ—āĻĄāϝāĻŧ, āĻŽāĻžāĻ°ā§āϏ⧇āϞ⧋ āĻŦ⧇āĻ•āĻžāϰ
  • āĻļā§āϰ⧇āĻŖā§€āĻŦāĻŋāĻ­āĻžāĻ—: cs.RO cs.AI cs.CV cs.LG cs.SY eess.SY
  • āĻĒā§āϰāĻ•āĻžāĻļāύāĻžāϰ āϏāĻŽāϝāĻŧ: ⧍ā§Ļ⧍ā§Ģ āϏāĻžāϞ⧇āϰ āĻ…āĻ•ā§āĻŸā§‹āĻŦāϰ ā§§ā§§ āϤāĻžāϰāĻŋāĻ– (arXiv v2)
  • āĻĒ⧇āĻĒāĻžāϰ āϞāĻŋāĻ™ā§āĻ•: https://arxiv.org/abs/2508.17466v2
  • āĻ…āĻ°ā§āĻĨāĻžāϝāĻŧāύ āϏāĻ‚āĻ¸ā§āĻĨāĻž: āĻĒ⧇āĻŸā§āϰ⧋āϞāĻŋāĻ“ āĻŦā§āϰāĻžāϏāĻŋāϞ⧇āχāϰ⧋ āĻāϏ/āĻ - āĻĒ⧇āĻŸā§āϰ⧋āĻŦā§āϰāĻžāϏ

āϏāĻžāϰāϏāĻ‚āĻ•ā§āώ⧇āĻĒ

āĻāχ āĻĒ⧇āĻĒāĻžāϰāϟāĻŋ āĻāĻ•āϟāĻŋ āĻ—āĻ­ā§€āϰ āĻļāĻŋāĻ•ā§āώāĻž āĻ•āĻžāĻ āĻžāĻŽā§‹ āωāĻĒāĻ¸ā§āĻĨāĻžāĻĒāύ āĻ•āϰ⧇ āϝāĻž āϝāĻžāĻ¨ā§āĻ¤ā§āϰāĻŋāĻ• āĻŦāĻžāĻšā§ āĻĻāĻŋāϝāĻŧ⧇ āϏāĻœā§āϜāĻŋāϤ āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāĻŸā§‡āϰ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻ•ā§āώāĻŽāϤāĻž āĻŦ⧃āĻĻā§āϧāĻŋ āĻ•āϰāĻžāϰ āϞāĻ•ā§āĻˇā§āϝ⧇ āϤ⧈āϰāĻŋ, āϝāĻž āύāĻŋāĻ°ā§āϭ⧁āϞāϤāĻž āĻāĻŦāĻ‚ āĻ…āĻ­āĻŋāϝ⧋āϜāύāϝ⧋āĻ—ā§āϝāϤāĻž āωāĻ¨ā§āύāϤ āĻ•āϰāĻžāϰ āωāĻĒāϰ āĻĻ⧃āĻˇā§āϟāĻŋ āύāĻŋāĻŦāĻĻā§āϧ āĻ•āϰ⧇āĨ¤ āĻāχ āĻĒāĻĻā§āϧāϤāĻŋāϟāĻŋ āϏāĻŋāĻŽā§āϞ⧇āĻļāύ-āĻĨ⧇āϕ⧇-āĻŦāĻžāĻ¸ā§āϤāĻŦāϤāĻž (sim-to-real) āĻĒāĻĻā§āϧāϤāĻŋāĻŦāĻŋāĻĻā§āϝāĻž āĻ—ā§āϰāĻšāĻŖ āĻ•āϰ⧇, āϝāĻž āĻļāĻžāϰ⧀āϰāĻŋāĻ• āĻĄā§‡āϟāĻž āϏāĻ‚āĻ—ā§āϰāĻšā§‡āϰ āωāĻĒāϰ āύāĻŋāĻ°ā§āĻ­āϰāϤāĻž āĻ•āĻŽāĻžāϝāĻŧāĨ¤ āϞ⧇āĻ–āĻ•āϰāĻž āĻœā§‡āύ⧇āϏāĻŋāϏ āϏāĻŋāĻŽā§āϞ⧇āĻļāύ āĻĒāϰāĻŋāĻŦ⧇āĻļ⧇ āĻāĻ•āϟāĻŋ āĻĒāĻžāχāĻĒāϞāĻžāχāύ āĻŦāĻŋāĻ•āĻļāĻŋāϤ āĻ•āϰ⧇āϛ⧇āύ āϝāĻž āϏāĻžāϧāĻžāϰāĻŖ āĻŦāĻ¸ā§āϤ⧁āϰ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻĒā§āϰāĻšā§‡āĻˇā§āϟāĻžāϰ āϏāĻŋāĻ¨ā§āĻĨ⧇āϟāĻŋāĻ• āĻĄā§‡āϟāĻžāϏ⧇āϟ āϤ⧈āϰāĻŋ āĻ•āϰ⧇āĨ¤ āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āĻĻ⧃āĻˇā§āϟāĻŋāĻ­āĻ™ā§āĻ—āĻŋ āĻĨ⧇āϕ⧇ āĻšāĻžāϜāĻžāϰ āĻšāĻžāϜāĻžāϰ āχāĻ¨ā§āϟāĻžāϰāĻ…ā§āϝāĻžāĻ•āĻļāύ āϏāĻŋāĻŽā§āϞ⧇āϟ āĻ•āϰāĻžāϰ āĻŽāĻžāĻ§ā§āϝāĻŽā§‡, āĻĒāĻŋāĻ•ā§āϏ⧇āϞ-āĻ¸ā§āϤāϰ⧇āϰ āĻŽāĻ¨ā§āϤāĻŦā§āϝ āϏāĻš āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āϗ⧁āĻŖāĻŽāĻžāύ āĻŽāĻžāύāϚāĻŋāĻ¤ā§āϰ āϤ⧈āϰāĻŋ āĻ•āϰāĻž āĻšāϝāĻŧ⧇āϛ⧇ āϝāĻž āĻŽāĻĄā§‡āϞ⧇āϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āϏāĻ¤ā§āϝ āĻšāĻŋāϏāĻžāĻŦ⧇ āĻ•āĻžāϜ āĻ•āϰ⧇āĨ¤ āĻāχ āĻĄā§‡āϟāĻžāϏ⧇āϟāϟāĻŋ U-Net-āϏāĻĻ⧃āĻļ āφāĻ°ā§āĻ•āĻŋāĻŸā§‡āĻ•āϚāĻžāϰ āϏāĻš āĻāĻ•āϟāĻŋ āĻ•āĻžāĻ¸ā§āϟāĻŽ CNN āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāϪ⧇āϰ āϜāĻ¨ā§āϝ āĻŦā§āϝāĻŦāĻšā§ƒāϤ āĻšāϝāĻŧ, āϝāĻž āĻ…āύ-āĻŦā§‹āĻ°ā§āĻĄ RGB āĻāĻŦāĻ‚ āĻ—āĻ­ā§€āϰāϤāĻž āĻ•ā§āϝāĻžāĻŽā§‡āϰāĻž āĻĨ⧇āϕ⧇ āĻŽāĻžāĻ˛ā§āϟāĻŋāĻŽā§‹āĻĄāĻžāϞ āχāύāĻĒ⧁āϟ āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻž āĻ•āϰ⧇, āϝāĻžāϰ āĻŽāĻ§ā§āϝ⧇ RGB āχāĻŽā§‡āϜ, āĻ—āĻ­ā§€āϰāϤāĻž āĻŽāĻžāύāϚāĻŋāĻ¤ā§āϰ, āĻŦāĻŋāĻ­āĻžāϜāύ āĻŽāĻžāĻ¸ā§āĻ• āĻāĻŦāĻ‚ āĻĒ⧃āĻˇā§āĻ  āϏāĻžāϧāĻžāϰāĻŖ āϭ⧇āĻ•ā§āϟāϰ āĻŽāĻžāύāϚāĻŋāĻ¤ā§āϰ āϰāϝāĻŧ⧇āϛ⧇āĨ¤ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŋāϤ āĻŽāĻĄā§‡āϞ āϏāĻ°ā§āĻŦā§‹āĻ¤ā§āϤāĻŽ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻĒāϝāĻŧ⧇āĻ¨ā§āϟ āϚāĻŋāĻšā§āύāĻŋāϤ āĻ•āϰāĻžāϰ āϜāĻ¨ā§āϝ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āϗ⧁āĻŖāĻŽāĻžāύ āĻšāĻŋāϟāĻŽā§āϝāĻžāĻĒ āφāωāϟāĻĒ⧁āϟ āĻ•āϰ⧇āĨ¤ āϞ⧇āĻ–āĻ•āϰāĻž āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāĻŸā§‡ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āĻ•āĻžāĻ āĻžāĻŽā§‹ āϝāĻžāϚāĻžāχ āĻ•āϰ⧇āϛ⧇āύ, āϏāĻŋāĻ¸ā§āĻŸā§‡āĻŽ āϏāĻĢāϞāĻ­āĻžāĻŦ⧇ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āĻŽā§‹āĻŦāĻžāχāϞ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ āĻ•āĻžāϜ āϏāĻŽā§āĻĒāĻžāĻĻāύ āĻ•āϰ⧇āϛ⧇: āϞāĻ•ā§āĻˇā§āϝ āĻŦāĻ¸ā§āϤ⧁āϤ⧇ āĻ¸ā§āĻŦāĻžāϝāĻŧāĻ¤ā§āϤāĻļāĻžāϏāĻŋāϤ āύ⧇āĻ­āĻŋāϗ⧇āĻļāύ, āϏ⧇āĻ¨ā§āϏāϰ āĻĻāĻŋāϝāĻŧ⧇ āĻŦāĻ¸ā§āϤ⧁ āωāĻĒāϞāĻŦā§āϧāĻŋ, āĻŽāĻĄā§‡āϞ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇ āϏāĻ°ā§āĻŦā§‹āĻ¤ā§āϤāĻŽ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻ­āĻ™ā§āĻ—āĻŋ āĻĒā§‚āĻ°ā§āĻŦāĻžāĻ­āĻžāϏ āĻāĻŦāĻ‚ āύāĻŋāĻ°ā§āϭ⧁āϞ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āϏāĻŽā§āĻĒāĻžāĻĻāύāĨ¤

āĻ—āĻŦ⧇āώāĻŖāĻž āĻĒāϟāĻ­ā§‚āĻŽāĻŋ āĻāĻŦāĻ‚ āĻĒā§āϰ⧇āϰāĻŖāĻž

āϏāĻŽāĻ¸ā§āϝāĻž āϏāĻ‚āĻœā§āĻžāĻž

āϜāϟāĻŋāϞ āĻ…-āĻ•āĻžāĻ āĻžāĻŽā§‹āĻ—āϤ āĻĒāϰāĻŋāĻŦ⧇āĻļ⧇ āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāĻŸā§‡āϰ āύāĻŋāĻ°ā§āϭ⧁āϞ āĻāĻŦāĻ‚ āĻ…āĻ­āĻŋāϝ⧋āϜāύāϝ⧋āĻ—ā§āϝ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻāĻ–āύāĻ“ āĻāĻ•āϟāĻŋ āωāĻ˛ā§āϞ⧇āĻ–āϝ⧋āĻ—ā§āϝ āĻšā§āϝāĻžāϞ⧇āĻžā§āϜ, āϝ⧇āĻ–āĻžāύ⧇ āϐāϤāĻŋāĻšā§āϝāĻŦāĻžāĻšā§€ āĻĒāĻĻā§āϧāϤāĻŋāϗ⧁āϞāĻŋ āϏāĻžāϧāĻžāϰāĻŖāϤ āĻŦāĻžāĻ¸ā§āϤāĻŦ-āĻŦāĻŋāĻļā§āĻŦ⧇āϰ āĻ•ā§āϝāĻžāϞāĻŋāĻŦā§āϰ⧇āĻļāύ āĻāĻŦāĻ‚ āĻĒā§‚āĻ°ā§āĻŦ-āĻĒā§āϰ⧋āĻ—ā§āϰāĻžāĻŽ āĻ•āϰāĻž āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻ•āύāĻĢāĻŋāĻ—āĻžāϰ⧇āĻļāύ⧇āϰ āĻŦāĻŋāĻļāĻžāϞ āĻĒāϰāĻŋāĻŽāĻžāĻŖ āĻĒā§āϰāϝāĻŧā§‹āϜāύ, āϝāĻž āĻāϰ āύāĻŽāύ⧀āϝāĻŧāϤāĻž āϏ⧀āĻŽāĻŋāϤ āĻ•āϰ⧇āĨ¤

āϗ⧁āϰ⧁āĻ¤ā§āĻŦ

  1. āĻĒā§āϰāϝāĻŧā§‹āϗ⧇āϰ āĻŽā§‚āĻ˛ā§āϝ: āϝāĻžāĻ¨ā§āĻ¤ā§āϰāĻŋāĻ• āĻŦāĻžāĻšā§ āĻĻāĻŋāϝāĻŧ⧇ āϏāĻœā§āϜāĻŋāϤ āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāϟ āϞ⧋āϕ⧋-āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ (āĻŽā§‹āĻŦāĻžāχāϞ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ) āĻ…āĻ°ā§āϜāύ āĻ•āϰāϤ⧇ āĻĒāĻžāϰ⧇, āϝāĻž āĻļāĻŋāĻ˛ā§āĻĒ āĻ¸ā§āĻŦāϝāĻŧāĻ‚āĻ•ā§āϰāĻŋāϝāĻŧāĻ•āϰāĻŖ, āĻ…āύ⧁āϏāĻ¨ā§āϧāĻžāύ āĻ“ āωāĻĻā§āϧāĻžāϰ āĻ•āĻžāϜ āĻāĻŦāĻ‚ āϏāĻšāĻžāϝāĻŧāĻ• āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋ āϏāĻš āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āĻ•ā§āώ⧇āĻ¤ā§āϰ⧇ āϗ⧁āϰ⧁āĻ¤ā§āĻŦāĻĒā§‚āĻ°ā§āĻŖ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻŽā§‚āĻ˛ā§āϝ āϰāϝāĻŧ⧇āϛ⧇
  2. āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋāĻ—āϤ āĻšā§āϝāĻžāϞ⧇āĻžā§āϜ: āĻ—āϤāĻŋāĻļā§€āϞ āĻĻ⧃āĻļā§āϝ⧇ āĻļāĻ•ā§āϤāĻŋāĻļāĻžāϞ⧀ āĻŦāĻ¸ā§āϤ⧁ āĻ¸ā§āĻŦā§€āĻ•ā§ƒāϤāĻŋ, āύāĻŋāĻ°ā§āϭ⧁āϞ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻĒāϰāĻŋāĻ•āĻ˛ā§āĻĒāύāĻž āĻāĻŦāĻ‚ āĻ—āϤāĻŋ āϏāĻŋāĻ¸ā§āĻŸā§‡āĻŽā§‡āϰ āϏāĻžāĻĨ⧇ āĻŽāϏ⧃āĻŖ āĻāϕ⧀āĻ•āϰāĻŖ āĻĒā§āϰāϝāĻŧā§‹āϜāύ
  3. āĻĒāϰāĻŋāĻŦ⧇āĻļāĻ—āϤ āĻ…āĻ­āĻŋāϝ⧋āϜāύāϝ⧋āĻ—ā§āϝāϤāĻž: āĻ…āĻĒā§āϰāĻ¤ā§āϝāĻžāĻļāĻŋāϤ āĻ…-āĻ•āĻžāĻ āĻžāĻŽā§‹āĻ—āϤ āĻĒāϰāĻŋāĻŦ⧇āĻļ⧇ āĻ•āĻžāĻ°ā§āϝāĻ•āϰāĻ­āĻžāĻŦ⧇ āĻ•āĻžāϜ āĻ•āϰāĻžāϰ āĻ•ā§āώāĻŽāϤāĻž

āĻŦāĻŋāĻĻā§āϝāĻŽāĻžāύ āĻĒāĻĻā§āϧāϤāĻŋāϰ āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧāϤāĻž

  1. āĻĒā§‚āĻ°ā§āĻŦāύāĻŋāĻ°ā§āϧāĻžāϰāĻŋāϤ āĻ•āύāĻĢāĻŋāĻ—āĻžāϰ⧇āĻļāύ⧇āϰ āωāĻĒāϰ āύāĻŋāĻ°ā§āĻ­āϰāϤāĻž: āϐāϤāĻŋāĻšā§āϝāĻŦāĻžāĻšā§€ āĻĒāĻĻā§āϧāϤāĻŋāϗ⧁āϞāĻŋ āĻĒā§‚āĻ°ā§āĻŦāύāĻŋāĻ°ā§āϧāĻžāϰāĻŋāϤ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻ•āύāĻĢāĻŋāĻ—āĻžāϰ⧇āĻļāύ āĻŦāĻž āϘāύ āϘāύ āĻŽā§āϝāĻžāύ⧁āϝāĻŧāĻžāϞ āĻ•ā§āϝāĻžāϞāĻŋāĻŦā§āϰ⧇āĻļāύ⧇āϰ āωāĻĒāϰ āύāĻŋāĻ°ā§āĻ­āϰ āĻ•āϰ⧇
  2. āϏāĻžāϧāĻžāϰāĻŖā§€āĻ•āϰāĻŖ āĻ•ā§āώāĻŽāϤāĻžāϰ āĻ…āĻ­āĻžāĻŦ: āĻŦāĻŋāĻĻā§āϝāĻŽāĻžāύ āϏāĻŽāĻžāϧāĻžāύāϗ⧁āϞāĻŋ āϏāĻžāϧāĻžāϰāĻŖāϤ āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻĒā§āϰāϏāĻ™ā§āϗ⧇āϰ āϏāĻžāĻĨ⧇ āϏāĻŽā§āĻĒāĻ°ā§āĻ•āĻŋāϤ, āĻĻ⧃āĻļā§āϝ āϜ⧁āĻĄāĻŧ⧇ āĻ…āĻ­āĻŋāϝ⧋āϜāύāϝ⧋āĻ—ā§āϝāϤāĻžāϰ āĻ…āĻ­āĻžāĻŦ āϰāϝāĻŧ⧇āϛ⧇
  3. āĻĄā§‡āϟāĻž āϏāĻ‚āĻ—ā§āϰāĻšā§‡āϰ āĻ–āϰāϚ: āĻŦāĻŋāĻļāĻžāϞ āĻŦāĻžāĻ¸ā§āϤāĻŦ-āĻŦāĻŋāĻļā§āĻŦ⧇āϰ āĻĄā§‡āϟāĻž āϏāĻ‚āĻ—ā§āϰāĻš āĻĒā§āϰāϝāĻŧā§‹āϜāύ, āϝāĻž āĻŦā§āϝāϝāĻŧāĻŦāĻšā§āϞ āĻāĻŦāĻ‚ āϏāĻŽāϝāĻŧāϏāĻžāĻĒ⧇āĻ•ā§āώ

āĻ—āĻŦ⧇āώāĻŖāĻž āĻĒā§āϰ⧇āϰāĻŖāĻž

āϞ⧇āĻ–āĻ•āϰāĻž āϝāĻžāĻ¨ā§āĻ¤ā§āϰāĻŋāĻ• āϰ⧋āĻŦāϟ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻ•ā§āώ⧇āĻ¤ā§āϰ⧇ āĻ—āĻ­ā§€āϰ āĻļāĻŋāĻ•ā§āώāĻžāϰ āϏāĻžāĻŽā§āĻĒā§āϰāϤāĻŋāĻ• āϏāĻĢāϞ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻĻā§āĻŦāĻžāϰāĻž āĻ…āύ⧁āĻĒā§āϰāĻžāĻŖāĻŋāϤ āĻšāϝāĻŧ⧇, āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāĻŸā§‡āϰ āϜāĻ¨ā§āϝ āĻŦāĻŋāĻļ⧇āώāĻ­āĻžāĻŦ⧇ āĻĄāĻŋāϜāĻžāχāύ āĻ•āϰāĻž āĻāĻ•āϟāĻŋ āĻ—āĻ­ā§€āϰ āĻļāĻŋāĻ•ā§āώāĻž āĻ•āĻžāĻ āĻžāĻŽā§‹ āĻĒā§āϰāĻ¸ā§āϤāĻžāĻŦ āĻ•āϰ⧇āϛ⧇āύ, āϝāĻž āϏāĻŋāĻŽā§āϞ⧇āĻļāύ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāϪ⧇āϰ āĻŽāĻžāĻ§ā§āϝāĻŽā§‡ āϐāϤāĻŋāĻšā§āϝāĻŦāĻžāĻšā§€ āĻĒāĻĻā§āϧāϤāĻŋāϰ āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧāϤāĻž āĻ…āϤāĻŋāĻ•ā§āϰāĻŽ āĻ•āϰ⧇āĨ¤

āĻŽā§‚āϞ āĻ…āĻŦāĻĻāĻžāύ

  1. āĻœā§‡āύ⧇āϏāĻŋāϏ āϏāĻŋāĻŽā§āϞ⧇āϟāϰ⧇āϰ āωāĻĒāϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻ•āϰ⧇ āĻāĻ•āϟāĻŋ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŖ āĻĒāĻžāχāĻĒāϞāĻžāχāύ āĻŦāĻŋāĻ•āĻļāĻŋāϤ āĻ•āϰ⧇āϛ⧇, āϝāĻž āĻŦ⧃āĻšā§Ž-āĻ¸ā§āϕ⧇āϞ āϏāĻŽāĻžāĻ¨ā§āϤāϰāĻžāϞ āĻĄā§‡āϟāĻž āϏāĻ‚āĻ—ā§āϰāĻš āϏāĻ•ā§āώāĻŽ āĻ•āϰ⧇, āĻŦāĻžāĻ¸ā§āϤāĻŦ āĻĄā§‡āϟāĻžāϰ āĻĒā§āϰāϝāĻŧā§‹āϜāύ āĻ›āĻžāĻĄāĻŧāĻžāχ
  2. āωāĻ¨ā§āύāϤ āωāĻĒāϞāĻŦā§āϧāĻŋ āĻĒāĻĻā§āϧāϤāĻŋ āĻāϕ⧀āĻ­ā§‚āϤ āĻ•āϰ⧇āϛ⧇ (āϝ⧇āĻŽāύ D2NT), āĻ—āĻ­ā§€āϰāϤāĻž-āĻ­āĻŋāĻ¤ā§āϤāĻŋāĻ• āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āύāĻŋāĻ°ā§āϭ⧁āϞāϤāĻž āωāĻ¨ā§āύāϤ āĻ•āϰ⧇ āĻāĻŦāĻ‚ ML āϏāĻŽā§āĻĒāĻžāĻĻāύ⧇āϰ āĻ—āĻŖāύāĻžāĻŽā§‚āϞāĻ• āĻ–āϰāϚ āĻšā§āϰāĻžāϏ āĻ•āϰ⧇
  3. āĻāĻ•āϟāĻŋ āύāĻŽāύ⧀āϝāĻŧ āĻ•āĻžāĻ āĻžāĻŽā§‹ āĻŦāĻŋāĻ•āĻļāĻŋāϤ āĻ•āϰ⧇āϛ⧇, āϝāĻž āωāĻ¨ā§āύāϤ āύāĻŋāϝāĻŧāĻ¨ā§āĻ¤ā§āϰāĻŖ API āĻāĻŦāĻ‚ āύāĻŋāĻŽā§āύ-āĻ¸ā§āϤāϰ⧇āϰ āĻ…ā§āϝāĻžāĻ•ā§āϏ⧇āϏ⧇āϰ āĻ…āĻ­āĻžāĻŦ āϰāϝāĻŧ⧇āϛ⧇ āĻāĻŽāύ āĻŦāĻžāĻŖāĻŋāĻœā§āϝāĻŋāĻ• āϰ⧋āĻŦāϟāϗ⧁āϞāĻŋāϰ āϏāĻžāĻĨ⧇ āĻāϕ⧀āĻ­ā§‚āϤ āĻ•āϰāϤ⧇ āĻĒāĻžāϰ⧇
  4. āĻļāĻžāϰ⧀āϰāĻŋāĻ• āϰ⧋āĻŦāĻŸā§‡ āĻĒāĻĻā§āϧāϤāĻŋāϰ āĻ•āĻžāĻ°ā§āϝāĻ•āĻžāϰāĻŋāϤāĻž āϝāĻžāϚāĻžāχ āĻ•āϰ⧇āϛ⧇, āĻŦāĻžāĻ¸ā§āϤāĻŦ-āĻŦāĻŋāĻļā§āĻŦ⧇āϰ āĻĻ⧃āĻļā§āϝ⧇ āĻĒāĻĻā§āϧāϤāĻŋāϰ āĻ•āĻžāĻ°ā§āϝāĻ•āĻžāϰāĻŋāϤāĻž āĻĒā§āϰāĻŽāĻžāĻŖ āĻ•āϰ⧇

āĻĒāĻĻā§āϧāϤāĻŋāϰ āĻŦāĻŋāĻ¸ā§āϤāĻžāϰāĻŋāϤ āĻŦāĻ°ā§āĻŖāύāĻž

āĻ•āĻžāĻœā§‡āϰ āϏāĻ‚āĻœā§āĻžāĻž

āχāύāĻĒ⧁āϟ: RGB-D āĻ•ā§āϝāĻžāĻŽā§‡āϰāĻž āĻĄā§‡āϟāĻž (RGB āχāĻŽā§‡āϜ, āĻ—āĻ­ā§€āϰāϤāĻž āĻŽāĻžāύāϚāĻŋāĻ¤ā§āϰ, āĻŦāĻŋāĻ­āĻžāϜāύ āĻŽāĻžāĻ¸ā§āĻ•, āĻĒ⧃āĻˇā§āĻ  āϏāĻžāϧāĻžāϰāĻŖ āϭ⧇āĻ•ā§āϟāϰ āĻŽāĻžāύāϚāĻŋāĻ¤ā§āϰ) āφāωāϟāĻĒ⧁āϟ: āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āϗ⧁āĻŖāĻŽāĻžāύ āĻšāĻŋāϟāĻŽā§āϝāĻžāĻĒ, āϏāĻ°ā§āĻŦā§‹āĻ¤ā§āϤāĻŽ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻĒāϝāĻŧ⧇āĻ¨ā§āĻŸā§‡āϰ 3D āĻ¸ā§āĻĨāĻžāύāĻžāĻ™ā§āĻ• āĻāĻŦāĻ‚ āĻĻāĻŋāĻ•āύāĻŋāĻ°ā§āĻĻ⧇āĻļāύāĻž āϚāĻŋāĻšā§āύāĻŋāϤ āĻ•āϰ⧇ āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧāϤāĻž: āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāϟ āĻŽā§‹āĻŦāĻžāχāϞ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ āĻĻ⧃āĻļā§āϝ⧇ āύāĻŋāĻ°ā§āϭ⧁āϞ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻ…āĻ°ā§āϜāύ āĻ•āϰāĻž

āĻĄā§‡āϟāĻžāϏ⧇āϟ āĻĒā§āϰāϜāĻ¨ā§āĻŽ

āϏāĻŋāĻŽā§āϞ⧇āĻļāύ āĻĒāϰāĻŋāĻŦ⧇āĻļ āϏ⧇āϟāφāĻĒ

  • āĻœā§‡āύ⧇āϏāĻŋāϏ āĻĢā§āϰ⧇āĻŽāĻ“āϝāĻŧāĻžāĻ°ā§āĻ• āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇ āĻļāĻžāϰ⧀āϰāĻŋāĻ• āϏāĻŋāĻŽā§āϞ⧇āĻļāύ
  • āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āϞāĻ•ā§āĻˇā§āϝ āĻšāĻŋāϏāĻžāĻŦ⧇ āϜāϞ āĻŦā§‹āϤāϞ 3D āĻŽāĻĄā§‡āϞ āύāĻŋāĻ°ā§āĻŦāĻžāϚāύ
  • āĻŦāĻ¸ā§āϤ⧁ āχāĻŽā§‡āϜ āύāĻŋāĻˇā§āĻ•āĻžāĻļāύ⧇āϰ āϜāĻ¨ā§āϝ āĻ­āĻžāĻ°ā§āϚ⧁āϝāĻŧāĻžāϞ RGB-D āĻ•ā§āϝāĻžāĻŽā§‡āϰāĻž āĻ•āύāĻĢāĻŋāĻ—āĻžāϰ āĻ•āϰāĻž

āĻ•ā§āϝāĻžāĻŽā§‡āϰāĻž āĻ…āĻŦāĻ¸ā§āĻĨāĻžāύ āύāĻŽā§āύāĻž

  • 2D āĻ—ā§āϰāĻŋāĻĄā§‡ 1000āϟāĻŋ āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āĻ…āĻŦāĻ¸ā§āĻĨāĻžāύ āύāĻŽā§āύāĻž
  • X āĻ…āĻ•ā§āώ āĻāĻŦāĻ‚ Z āĻ…āĻ•ā§āώ āĻĒā§āϰāϤāĻŋāϟāĻŋ 100 āĻāĻŦāĻ‚ 10 āĻĒāϝāĻŧ⧇āĻ¨ā§āϟ (-0.5m āĻĨ⧇āϕ⧇ 0.5m āĻĒāĻ°ā§āϝāĻ¨ā§āϤ)
  • Y āĻ…āĻ•ā§āώ y=0.5m āĻ āĻ¸ā§āĻĨāĻŋāϰ
  • āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻ…āĻŦāĻ¸ā§āĻĨāĻžāύ⧇ āĻ°ā§āϝāĻžāĻ¨ā§āĻĄāĻŽ āĻŦāĻŋāĻ˜ā§āύ āϝ⧋āĻ— āĻ•āϰāĻž (X,Y: Âą0.03m, Z: 0-0.09m)

āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻŽāĻ¨ā§āϤāĻŦā§āϝ āĻĒā§āϰāϜāĻ¨ā§āĻŽ

āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻĒāĻŋāĻ•ā§āϏ⧇āϞ⧇āϰ āϜāĻ¨ā§āϝ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻĒā§āϰāĻšā§‡āĻˇā§āϟāĻž āϏāĻŽā§āĻĒāĻžāĻĻāύ āĻ•āϰāĻž:

  • āĻĒāĻŋāĻ•ā§āϏ⧇āϞ āĻ¸ā§āĻĨāĻžāύāĻžāĻ™ā§āĻ• āĻŦ⧈āĻļā§āĻŦāĻŋāĻ• āĻ¸ā§āĻĨāĻžāύāĻžāĻ™ā§āĻ• āϏāĻŋāĻ¸ā§āĻŸā§‡āĻŽā§‡ āϰ⧂āĻĒāĻžāĻ¨ā§āϤāϰ
  • āϏāĻ‚āĻļā§āϞāĻŋāĻˇā§āϟ āĻĒ⧃āĻˇā§āĻ  āϏāĻžāϧāĻžāϰāĻŖ āϭ⧇āĻ•ā§āϟāϰ āĻ—āĻŖāύāĻž
  • āĻļ⧇āώ āĻ•āĻžāĻ°ā§āϝāĻ•āĻžāϰ⧀ āĻŦāĻ¸ā§āϤ⧁ āĻĨ⧇āϕ⧇ 1.0m āĻĻā§‚āϰāĻ¤ā§āĻŦ⧇ āĻļ⧁āϰ⧁, āĻĒ⧃āĻˇā§āĻ  āĻĨ⧇āϕ⧇ 0.35m āĻĻā§‚āϰāĻ¤ā§āĻŦ⧇ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻšā§‡āĻˇā§āϟāĻž
  • āϏāĻ‚āϘāĻ°ā§āώ āϏāύāĻžāĻ•ā§āϤāĻ•āϰāϪ⧇āϰ āωāĻĒāϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻ•āϰ⧇ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āϏāĻžāĻĢāĻ˛ā§āϝ (1) āĻŦāĻž āĻŦā§āϝāĻ°ā§āĻĨāϤāĻž (0) āύāĻŋāĻ°ā§āϧāĻžāϰāĻŖ
  • āĻŦāĻ¸ā§āϤ⧁āϰ āĻŦāĻžāχāϰ⧇āϰ āĻāϞāĻžāĻ•āĻž āĻ…āύāĻŋāĻļā§āϚāĻŋāϤ (-1) āĻšāĻŋāϏāĻžāĻŦ⧇ āϚāĻŋāĻšā§āύāĻŋāϤ

āĻŽāĻĄā§‡āϞ āφāĻ°ā§āĻ•āĻŋāĻŸā§‡āĻ•āϚāĻžāϰ

āύ⧇āϟāĻ“āϝāĻŧāĻžāĻ°ā§āĻ• āĻĄāĻŋāϜāĻžāχāύ

  • āφāĻ°ā§āĻ•āĻŋāĻŸā§‡āĻ•āϚāĻžāϰ: U-Net-āĻ­āĻŋāĻ¤ā§āϤāĻŋāĻ• āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āĻ•āύāĻ­ā§‹āϞāĻŋāωāĻļāύāĻžāϞ āĻāύāϕ⧋āĻĄāĻžāϰ-āĻĄāĻŋāϕ⧋āĻĄāĻžāϰ āĻ•āĻžāĻ āĻžāĻŽā§‹
  • āĻāύāϕ⧋āĻĄāĻžāϰ: MobileNetV2 āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇ āĻŽā§‡āϰ⧁āĻĻāĻŖā§āĻĄ āύ⧇āϟāĻ“āϝāĻŧāĻžāĻ°ā§āĻ• āĻšāĻŋāϏāĻžāĻŦ⧇
  • āχāύāĻĒ⧁āϟ: 480×640×8 āĻšā§āϝāĻžāύ⧇āϞ (RGB + āĻ—āĻ­ā§€āϰāϤāĻž + āϏāĻžāϧāĻžāϰāĻŖ āϭ⧇āĻ•ā§āϟāϰ āĻŽāĻžāύāϚāĻŋāĻ¤ā§āϰ + āĻŦāĻŋāĻ­āĻžāϜāύ āĻŽāĻžāĻ¸ā§āĻ•)
  • āφāωāϟāĻĒ⧁āϟ: āĻāĻ•āĻ• āĻšā§āϝāĻžāύ⧇āϞ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āϗ⧁āĻŖāĻŽāĻžāύ āĻŽāĻžāύāϚāĻŋāĻ¤ā§āϰ
  • āĻĒā§āϝāĻžāϰāĻžāĻŽāĻŋāϟāĻžāϰ āϏāĻ‚āĻ–ā§āϝāĻž: āĻĒā§āϰāĻžāϝāĻŧ 544 āĻŽāĻŋāϞāĻŋāϝāĻŧāύ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŖāϝ⧋āĻ—ā§āϝ āĻĒā§āϝāĻžāϰāĻžāĻŽāĻŋāϟāĻžāϰ

āĻŽā§‚āϞ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋāĻ—āϤ āĻŦāĻŋāĻŦāϰāĻŖ

  • āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŖ āĻ¸ā§āĻĨāĻŋāϤāĻŋāĻļā§€āϞāϤāĻž āωāĻ¨ā§āύāϤ āĻ•āϰāϤ⧇ GroupNorm āĻŦā§āϝāĻŦāĻšāĻžāϰ
  • āĻāύāϕ⧋āĻĄāĻžāϰ⧇āϰ āϏ⧂āĻ•ā§āĻˇā§āĻŽ-āĻĻāĻžāύāĻžāĻĻāĻžāϰ āĻŦ⧈āĻļāĻŋāĻˇā§āĻŸā§āϝ āĻāϕ⧀āĻ­ā§‚āϤ āĻ•āϰāϤ⧇ āĻ¸ā§āĻ•āĻŋāĻĒ āϏāĻ‚āϝ⧋āĻ—
  • āφāĻĒāϏāĻžāĻŽā§āĻĒāϞāĻŋāĻ‚āϝāĻŧ⧇āϰ āϜāĻ¨ā§āϝ āĻŸā§āϰāĻžāĻ¨ā§āϏāĻĒā§‹āϜ āĻ•āύāĻ­ā§‹āϞāĻŋāωāĻļāύ
  • āĻšā§‚āĻĄāĻŧāĻžāĻ¨ā§āϤ āφāωāϟāĻĒ⧁āϟ āϤ⧈āϰāĻŋ āĻ•āϰāϤ⧇ 1×1 āĻ•āύāĻ­ā§‹āϞāĻŋāωāĻļāύ

āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋāĻ—āϤ āωāĻĻā§āĻ­āĻžāĻŦāύ āĻĒāϝāĻŧ⧇āĻ¨ā§āϟ

  1. āĻŽāĻžāĻ˛ā§āϟāĻŋāĻŽā§‹āĻĄāĻžāϞ āĻĢāĻŋāωāĻļāύ: RGB, āĻ—āĻ­ā§€āϰāϤāĻž, āϏāĻžāϧāĻžāϰāĻŖ āϭ⧇āĻ•ā§āϟāϰ āĻāĻŦāĻ‚ āĻŦāĻŋāĻ­āĻžāϜāύ āϤāĻĨā§āϝ āĻ•āĻžāĻ°ā§āϝāĻ•āϰāĻ­āĻžāĻŦ⧇ āĻāĻ•āĻ¤ā§āϰāĻŋāϤ āĻ•āϰāĻž
  2. āϏāĻŋāĻŽā§āϞ⧇āĻļāύ-āĻĨ⧇āϕ⧇-āĻŦāĻžāĻ¸ā§āϤāĻŦāϤāĻž āĻ¸ā§āĻĨāĻžāύāĻžāĻ¨ā§āϤāϰ: āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖāĻ­āĻžāĻŦ⧇ āϏāĻŋāĻŽā§āϞ⧇āĻļāύ āĻĄā§‡āϟāĻžāϰ āωāĻĒāϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻ•āϰ⧇ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŋāϤ, āϏāĻĢāϞāĻ­āĻžāĻŦ⧇ āĻŦāĻžāĻ¸ā§āϤāĻŦ āϰ⧋āĻŦāĻŸā§‡ āĻ¸ā§āĻĨāĻžāĻĒāύ āĻ•āϰāĻž
  3. āĻāĻ¨ā§āĻĄ-āϟ⧁-āĻāĻ¨ā§āĻĄ āĻĒāĻžāχāĻĒāϞāĻžāχāύ: āωāĻĒāϞāĻŦā§āϧāĻŋ āĻĨ⧇āϕ⧇ āϏāĻŽā§āĻĒāĻžāĻĻāύ āĻĒāĻ°ā§āϝāĻ¨ā§āϤ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āĻ¸ā§āĻŦāϝāĻŧāĻ‚āĻ•ā§āϰāĻŋāϝāĻŧ āĻĒā§āϰāĻŦāĻžāĻš
  4. āĻĒ⧃āĻˇā§āĻ  āϏāĻžāϧāĻžāϰāĻŖ āϭ⧇āĻ•ā§āϟāϰ āĻāϕ⧀āĻ•āϰāĻŖ: āĻ—āĻ­ā§€āϰāϤāĻž āĻŽāĻžāύāϚāĻŋāĻ¤ā§āϰ āĻĨ⧇āϕ⧇ āĻĒ⧃āĻˇā§āĻ  āϏāĻžāϧāĻžāϰāĻŖ āϭ⧇āĻ•ā§āϟāϰ āĻ…āύ⧁āĻŽāĻžāύ āĻ•āϰāϤ⧇ D2NT āĻ…ā§āϝāĻžāϞāĻ—āϰāĻŋāĻĻāĻŽ āĻŦā§āϝāĻŦāĻšāĻžāϰ

āĻĒāϰ⧀āĻ•ā§āώāĻžāĻŽā§‚āϞāĻ• āϏ⧇āϟāφāĻĒ

āĻĄā§‡āϟāĻžāϏ⧇āϟ

  • āϏāĻŋāĻŽā§āϞ⧇āĻļāύ āĻĄā§‡āϟāĻž: āĻœā§‡āύ⧇āϏāĻŋāϏ āĻĒāϰāĻŋāĻŦ⧇āĻļ⧇ 1000āϟāĻŋ āĻĻ⧃āĻˇā§āϟāĻŋāĻ­āĻ™ā§āĻ—āĻŋāϰ āϏāĻŋāĻ¨ā§āĻĨ⧇āϟāĻŋāĻ• āĻĄā§‡āϟāĻž āϤ⧈āϰāĻŋ
  • āϰ⧇āĻœā§‹āϞāĻŋāωāĻļāύ: 480×640 āĻĒāĻŋāĻ•ā§āϏ⧇āϞ
  • āĻŽāĻ¨ā§āϤāĻŦā§āϝ āĻĒāĻĻā§āϧāϤāĻŋ: āĻĒāĻŋāĻ•ā§āϏ⧇āϞ-āĻ¸ā§āϤāϰ⧇āϰ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āϗ⧁āĻŖāĻŽāĻžāύ āĻŽāĻ¨ā§āϤāĻŦā§āϝ (āϏāĻžāĻĢāĻ˛ā§āϝ/āĻŦā§āϝāĻ°ā§āĻĨāϤāĻž/āĻ…āύāĻŋāĻļā§āϚāĻŋāϤ)
  • āĻŦāĻ¸ā§āϤ⧁āϰ āϧāϰāύ: āϜāϞ āĻŦā§‹āϤāϞ āĻŽāĻĄā§‡āϞ (āĻĒāϰāĻŦāĻ°ā§āϤ⧀āϤ⧇ āĻĨāĻžāĻ°ā§āĻŽā§‹āϏ āĻŦā§‹āϤāϞ⧇ āϏāĻŽā§āĻĒā§āϰāϏāĻžāϰāĻŋāϤ)

āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ āĻŽā§‡āĻŸā§āϰāĻŋāĻ•ā§āϏ

  • āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āϏāĻžāĻĢāĻ˛ā§āϝ⧇āϰ āĻšāĻžāϰ
  • āĻ…āĻŦāĻ¸ā§āĻĨāĻžāύ āύāĻŋāĻ°ā§āϭ⧁āϞāϤāĻž
  • āϰāĻŋāϝāĻŧ⧇āϞ-āϟāĻžāχāĻŽ āĻ•āĻ°ā§āĻŽāĻ•ā§āώāĻŽāϤāĻž

āĻĒāϰ⧀āĻ•ā§āώāĻžāĻŽā§‚āϞāĻ• āĻĒā§āĻ˛ā§āϝāĻžāϟāĻĢāĻ°ā§āĻŽ

  • āϰ⧋āĻŦāϟ: āĻŦā§‹āĻ¸ā§āϟāύ āĻĄāĻžāϝāĻŧāύāĻžāĻŽāĻŋāĻ•ā§āϏ āĻ¸ā§āĻĒāϟ āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāϟ
  • āϏ⧇āĻ¨ā§āϏāϰ: āĻļ⧇āώ āĻ•āĻžāĻ°ā§āϝāĻ•āĻžāϰ⧀ RGB-D āĻ•ā§āϝāĻžāĻŽā§‡āϰāĻž
  • āύāĻŋāϝāĻŧāĻ¨ā§āĻ¤ā§āϰāĻŖ: āĻŦā§‹āĻ¸ā§āϟāύ āĻĄāĻžāϝāĻŧāύāĻžāĻŽāĻŋāĻ•ā§āϏ SDK
  • āĻŦāĻ¸ā§āϤ⧁ āϏāύāĻžāĻ•ā§āϤāĻ•āϰāĻŖ: YOLOv11 āĻĒā§āϰāĻžāĻ•-āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŋāϤ āĻŽāĻĄā§‡āϞ

āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ āĻŦāĻŋāĻŦāϰāĻŖ

  • āĻ•ā§āϝāĻžāĻŽā§‡āϰāĻž āĻ…āĻ­ā§āϝāĻ¨ā§āϤāϰ⧀āĻŖ āĻĒā§āϝāĻžāϰāĻžāĻŽāĻŋāϟāĻžāϰ: fx, fy ≈ 554.26 āĻĒāĻŋāĻ•ā§āϏ⧇āϞ, āĻĒā§āϰāϧāĻžāύ āĻŦāĻŋāĻ¨ā§āĻĻ⧁ (u0=320, v0=240)
  • āϏāĻ°ā§āĻŦāĻžāϧāĻŋāĻ• āϟāĻ°ā§āĻ•: 3.0 Nm
  • āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻĻā§‚āϰāĻ¤ā§āĻŦ: āĻŦāĻ¸ā§āϤ⧁āϰ āĻĒ⧃āĻˇā§āĻ  āĻĨ⧇āϕ⧇ 0.35m āĻĻā§‚āϰāĻ¤ā§āĻŦ
  • āĻļāĻ•ā§āϤāĻŋ āύāĻŋāϝāĻŧāĻ¨ā§āĻ¤ā§āϰāĻŖ: SDK-āĻ­āĻŋāĻ¤ā§āϤāĻŋāĻ• āĻļāĻ•ā§āϤāĻŋ āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧāϤāĻž āύāĻŋāϝāĻŧāĻ¨ā§āĻ¤ā§āϰāĻŖ

āĻĒāϰ⧀āĻ•ā§āώāĻžāĻŽā§‚āϞāĻ• āĻĢāϞāĻžāĻĢāϞ

āĻĒā§āϰāϧāĻžāύ āĻĢāϞāĻžāĻĢāϞ

āĻĒ⧇āĻĒāĻžāϰāϟāĻŋ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āĻŽā§‹āĻŦāĻžāχāϞ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ āĻ•āĻžāϜ āϏāĻĢāϞāĻ­āĻžāĻŦ⧇ āĻĒā§āϰāĻĻāĻ°ā§āĻļāύ āĻ•āϰ⧇āϛ⧇:

  1. āĻ¸ā§āĻŦāĻžāϝāĻŧāĻ¤ā§āϤāĻļāĻžāϏāĻŋāϤ āύ⧇āĻ­āĻŋāϗ⧇āĻļāύ: āϰ⧋āĻŦāϟ āϏāĻĢāϞāĻ­āĻžāĻŦ⧇ āϞāĻ•ā§āĻˇā§āϝ āĻŦāĻ¸ā§āϤ⧁ āϚāĻŋāĻšā§āύāĻŋāϤ āĻāĻŦāĻ‚ āĻ•āĻžāĻ›āĻžāĻ•āĻžāĻ›āĻŋ āϝāĻžāϝāĻŧ
  2. āωāĻĒāϞāĻŦā§āϧāĻŋ āύāĻŋāĻ°ā§āϭ⧁āϞāϤāĻž: RGB-D āĻĄā§‡āϟāĻž āϏāĻĢāϞāĻ­āĻžāĻŦ⧇ āĻ…āϧāĻŋāĻ—ā§āϰāĻšāĻŖ āĻāĻŦāĻ‚ āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻž āĻ•āϰāĻž āĻšāϝāĻŧ
  3. āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻĒā§‚āĻ°ā§āĻŦāĻžāĻ­āĻžāϏ: CNN āĻŽāĻĄā§‡āϞ āϏāĻ°ā§āĻŦā§‹āĻ¤ā§āϤāĻŽ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻĒāϝāĻŧ⧇āĻ¨ā§āϟ āϏāĻ āĻŋāĻ•āĻ­āĻžāĻŦ⧇ āĻĒā§‚āĻ°ā§āĻŦāĻžāĻ­āĻžāϏ āĻĻ⧇āϝāĻŧ
  4. āϏāĻŽā§āĻĒāĻžāĻĻāύ āϏāĻžāĻĢāĻ˛ā§āϝ: āĻļāĻžāϰ⧀āϰāĻŋāĻ• āϰ⧋āĻŦāϟ āϏāĻĢāϞāĻ­āĻžāĻŦ⧇ āĻĨāĻžāĻ°ā§āĻŽā§‹āϏ āĻŦā§‹āϤāϞ āĻ—ā§āϰāĻžāϏ āĻ•āϰ⧇

āϏāĻŋāĻ¸ā§āĻŸā§‡āĻŽ āĻ•āĻ°ā§āĻŽāĻ•ā§āώāĻŽāϤāĻž

  • āϰāĻŋāϝāĻŧ⧇āϞ-āϟāĻžāχāĻŽ āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻžāĻ•āϰāĻŖ: 480×640 āϰ⧇āĻœā§‹āϞāĻŋāωāĻļāύ⧇āϰ āĻŽāĻžāĻ˛ā§āϟāĻŋāĻŽā§‹āĻĄāĻžāϞ āχāύāĻĒ⧁āϟ āϰāĻŋāϝāĻŧ⧇āϞ-āϟāĻžāχāĻŽā§‡ āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻž āĻ•āϰāϤ⧇ āĻĒāĻžāϰ⧇
  • āĻļāĻ•ā§āϤāĻŋāĻļā§€āϞāϤāĻž: āĻŦāĻžāĻ¸ā§āϤāĻŦ āĻĒāϰāĻŋāĻŦ⧇āĻļ⧇ āĻ­āĻžāϞ āĻ…āĻ­āĻŋāϝ⧋āϜāύāϝ⧋āĻ—ā§āϝāϤāĻž āĻĒā§āϰāĻĻāĻ°ā§āĻļāύ āĻ•āϰ⧇
  • āύāĻŋāĻ°ā§āϭ⧁āϞāϤāĻž: āύāĻŋāĻ°ā§āϭ⧁āϞ āĻļāĻ•ā§āϤāĻŋ āύāĻŋāϝāĻŧāĻ¨ā§āĻ¤ā§āϰāĻŖ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āϏāĻĢāϞāĻ­āĻžāĻŦ⧇ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ āĻ•āϰ⧇

āϕ⧇āϏ āĻŦāĻŋāĻļā§āϞ⧇āώāĻŖ

āϚāĻŋāĻ¤ā§āϰ 8 āĻĨ⧇āϕ⧇ āĻĻ⧇āĻ–āĻž āϝāĻžāϝāĻŧ:

  • RGB āχāĻŽā§‡āϜ āϞāĻ•ā§āĻˇā§āϝ āĻŦāĻ¸ā§āϤ⧁ āĻ¸ā§āĻĒāĻˇā§āϟāĻ­āĻžāĻŦ⧇ āĻ•ā§āϝāĻžāĻĒāϚāĻžāϰ āĻ•āϰ⧇
  • āĻ—āĻ­ā§€āϰāϤāĻž āĻŽāĻžāύāϚāĻŋāĻ¤ā§āϰ āϏāĻ āĻŋāĻ• āĻ¸ā§āĻĨāĻžāύāĻŋāĻ• āϤāĻĨā§āϝ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇
  • YOLO-11 āύāĻŋāĻ°ā§āϭ⧁āϞ āĻŦāĻŋāĻ­āĻžāϜāύ āĻŽāĻžāĻ¸ā§āĻ• āϤ⧈āϰāĻŋ āĻ•āϰ⧇
  • D2NT āĻ…ā§āϝāĻžāϞāĻ—āϰāĻŋāĻĻāĻŽ āϏāĻĢāϞāĻ­āĻžāĻŦ⧇ āĻĒ⧃āĻˇā§āĻ  āϏāĻžāϧāĻžāϰāĻŖ āϭ⧇āĻ•ā§āϟāϰ āĻŽāĻžāύāϚāĻŋāĻ¤ā§āϰ āϤ⧈āϰāĻŋ āĻ•āϰ⧇
  • āĻŽāĻĄā§‡āϞ āφāωāϟāĻĒ⧁āϟ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻšāĻŋāϟāĻŽā§āϝāĻžāĻĒ āϏāĻ°ā§āĻŦā§‹āĻ¤ā§āϤāĻŽ āĻ…āĻžā§āϚāϞ āϏāĻ āĻŋāĻ•āĻ­āĻžāĻŦ⧇ āϚāĻŋāĻšā§āύāĻŋāϤ āĻ•āϰ⧇

āϏāĻŽā§āĻĒāĻ°ā§āĻ•āĻŋāϤ āĻ•āĻžāϜ

āĻŽā§‹āĻŦāĻžāχāϞ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ āĻ—āĻŦ⧇āώāĻŖāĻž

  • āĻĒā§āϰāĻžāĻĨāĻŽāĻŋāĻ• āĻ—āĻŦ⧇āώāĻŖāĻž āĻ¸ā§āĻĨāĻŋāϤāĻŋāĻļā§€āϞ āĻ—āϤāĻŋ āϏāĻŋāĻ¸ā§āĻŸā§‡āĻŽ āωāĻ¨ā§āύāϝāĻŧāύ āĻāĻŦāĻ‚ āĻŽā§ŒāϞāĻŋāĻ• āĻļ⧇āώ āĻ•āĻžāĻ°ā§āϝāĻ•āĻžāϰ⧀ āĻāϕ⧀āĻ•āϰāϪ⧇ āĻŽāύ⧋āύāĻŋāĻŦ⧇āĻļ āĻ•āϰ⧇āϛ⧇
  • āϐāϤāĻŋāĻšā§āϝāĻŦāĻžāĻšā§€ āĻĒāĻĻā§āϧāϤāĻŋ āĻ•āĻ ā§‹āϰ āĻ—āϤāĻŋāĻŦāĻŋāĻĻā§āϝāĻž āĻŽāĻĄā§‡āϞ āĻāĻŦāĻ‚ āύāĻŋāĻ°ā§āϧāĻžāϰāĻŋāϤ āύāĻŋāϝāĻŧāĻŽ-āĻ­āĻŋāĻ¤ā§āϤāĻŋāĻ• āύāĻŋāϝāĻŧāĻ¨ā§āĻ¤ā§āϰāĻŖ āĻ•ā§ŒāĻļāϞ⧇āϰ āωāĻĒāϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻ•āϰ⧇
  • āϏāĻžāĻŽā§āĻĒā§āϰāϤāĻŋāĻ• āĻ…āĻ—ā§āϰāĻ—āϤāĻŋāϤ⧇ āωāĻšā§āϚ-āύāĻŋāĻ°ā§āϭ⧁āϞāϤāĻž āϏ⧇āĻ¨ā§āϏāϰ, āĻ•āĻŽā§āĻĒāĻŋāωāϟāĻžāϰ āĻĻ⧃āĻˇā§āϟāĻŋ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋ āĻāĻŦāĻ‚ āĻ—āϤāĻŋ āĻĒāϰāĻŋāĻ•āĻ˛ā§āĻĒāύāĻž āφāĻ°ā§āĻ•āĻŋāĻŸā§‡āĻ•āϚāĻžāϰ āĻ…āĻ¨ā§āϤāĻ°ā§āϭ⧁āĻ•ā§āϤ āϰāϝāĻŧ⧇āϛ⧇

āĻ—āĻ­ā§€āϰ āĻļāĻŋāĻ•ā§āώāĻžāϰ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚āϝāĻŧ⧇ āĻĒā§āϰāϝāĻŧā§‹āĻ—

  • āĻŽā§‡āĻļāĻŋāύ āϞāĻžāĻ°ā§āύāĻŋāĻ‚ āĻ…ā§āϝāĻžāϞāĻ—āϰāĻŋāĻĻāĻŽ āϏāĻžāϧāĻžāϰāĻŖāϤ āĻļ⧇āώ āĻ•āĻžāĻ°ā§āϝāĻ•āĻžāϰ⧀ āĻ–ā§‹āϞāĻžāϰ āĻŽāĻžāĻ¤ā§āϰāĻž, āĻĻāĻŋāĻ•āύāĻŋāĻ°ā§āĻĻ⧇āĻļāύāĻž āĻāĻŦāĻ‚ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āϗ⧁āĻŖāĻŽāĻžāύ āĻĢ⧇āϰāϤ āĻĻ⧇āϝāĻŧ
  • āĻ—āĻ­ā§€āϰ āĻļāĻŋāĻ•ā§āώāĻž āĻĒāĻĻā§āϧāϤāĻŋ āĻĄā§‡āϟāĻž āĻĨ⧇āϕ⧇ āϏāĻžāϧāĻžāϰāĻŖā§€āĻ•ā§ƒāϤ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻ•ā§ŒāĻļāϞ āĻļāĻŋāĻ–āϤ⧇ āĻĒāĻžāϰ⧇
  • āϏāĻŋāĻŽā§āϞ⧇āĻļāύ-āĻĨ⧇āϕ⧇-āĻŦāĻžāĻ¸ā§āϤāĻŦāϤāĻž āĻ¸ā§āĻĨāĻžāύāĻžāĻ¨ā§āϤāϰ āĻĄā§‡āϟāĻž āϏāĻ‚āĻ—ā§āϰāĻšā§‡āϰ āĻ–āϰāϚ āĻšā§āϰāĻžāϏ āĻ•āϰāĻžāϰ āĻāĻ•āϟāĻŋ āϗ⧁āϰ⧁āĻ¤ā§āĻŦāĻĒā§‚āĻ°ā§āĻŖ āĻĻāĻŋāĻ• āĻšāϝāĻŧ⧇ āωāϠ⧇āϛ⧇

āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāϟ āĻ…āĻĒāĻžāϰ⧇āĻļāύ

  • āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāϟ āϜāϟāĻŋāϞ āĻ­ā§‚āĻ–āĻŖā§āĻĄ āύ⧇āĻ­āĻŋāϗ⧇āĻļāύ⧇ āĻ‰ā§ŽāĻ•āĻ°ā§āώāϤāĻž āĻĒā§āϰāĻĻāĻ°ā§āĻļāύ āĻ•āϰ⧇
  • āϝāĻžāĻ¨ā§āĻ¤ā§āϰāĻŋāĻ• āĻŦāĻžāĻšā§ āĻĻāĻŋāϝāĻŧ⧇ āϏāĻœā§āϜāĻŋāϤ āĻšāϞ⧇ āĻŽā§‹āĻŦāĻžāχāϞ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ āĻ•ā§āώāĻŽāϤāĻž āĻ…āĻ°ā§āϜāύ āĻ•āϰ⧇
  • āĻļāĻŋāĻ˛ā§āĻĒ āĻ¸ā§āĻŦāϝāĻŧāĻ‚āĻ•ā§āϰāĻŋāϝāĻŧāĻ•āϰāĻŖ, āĻ…āύ⧁āϏāĻ¨ā§āϧāĻžāύ āĻ“ āωāĻĻā§āϧāĻžāϰ āĻāĻŦāĻ‚ āϏāĻšāĻžāϝāĻŧāĻ• āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋ āĻ•ā§āώ⧇āĻ¤ā§āϰ⧇ āĻĒā§āϰāϝāĻŧā§‹āϗ⧇āϰ āĻŦāĻŋāĻ¸ā§āϤ⧃āϤ āϏāĻŽā§āĻ­āĻžāĻŦāύāĻž āϰāϝāĻŧ⧇āϛ⧇

āωāĻĒāϏāĻ‚āĻšāĻžāϰ āĻāĻŦāĻ‚ āφāϞ⧋āϚāύāĻž

āĻĒā§āϰāϧāĻžāύ āωāĻĒāϏāĻ‚āĻšāĻžāϰ

  1. āĻĒāĻĻā§āϧāϤāĻŋāϰ āĻ•āĻžāĻ°ā§āϝāĻ•āĻžāϰāĻŋāϤāĻž: āϏāĻŋāĻŽā§āϞ⧇āĻļāύ-āĻ­āĻŋāĻ¤ā§āϤāĻŋāĻ• āĻ—āĻ­ā§€āϰ āĻļāĻŋāĻ•ā§āώāĻž āĻĒāĻĻā§āϧāϤāĻŋ āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāĻŸā§‡āϰ āύāĻŋāĻ°ā§āϭ⧁āϞ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āϏāĻĢāϞāĻ­āĻžāĻŦ⧇ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ āĻ•āϰ⧇
  2. āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋāĻ—āϤ āϏāĻŽā§āĻ­āĻžāĻŦā§āϝāϤāĻž: āĻŽāĻžāĻ˛ā§āϟāĻŋāĻŽā§‹āĻĄāĻžāϞ āωāĻĒāϞāĻŦā§āϧāĻŋ āĻāĻŦāĻ‚ CNN āĻĒā§‚āĻ°ā§āĻŦāĻžāĻ­āĻžāϏ⧇āϰ āϏāĻŽāĻ¨ā§āĻŦāϝāĻŧ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋāĻ—āϤ āϰ⧁āĻŸā§‡āϰ āϏāĻŽā§āĻ­āĻžāĻŦā§āϝāϤāĻž āĻĒā§āϰāĻŽāĻžāĻŖ āĻ•āϰ⧇
  3. āĻŦā§āϝāĻŦāĻšāĻžāϰāĻŋāĻ• āĻŽā§‚āĻ˛ā§āϝ: āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āĻŽā§‹āĻŦāĻžāχāϞ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ āĻĒāĻžāχāĻĒāϞāĻžāχāύ āĻŦā§āϝāĻŦāĻšāĻžāϰāĻŋāĻ• āĻĒā§āϰāϝāĻŧā§‹āϗ⧇āϰ āϜāĻ¨ā§āϝ āĻāĻ•āϟāĻŋ āϏāĻŽā§āĻ­āĻžāĻŦā§āϝ āϏāĻŽāĻžāϧāĻžāύ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇

āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧāϤāĻž

  1. āϏ⧀āĻŽāĻŋāϤ āϏāĻžāϧāĻžāϰāĻŖā§€āĻ•āϰāĻŖ āĻ•ā§āώāĻŽāϤāĻž: āĻŽāĻĄā§‡āϞ āϏāĻžāϧāĻžāϰāĻŖā§€āĻ•āϰāĻŖ āĻŦāĻ¸ā§āϤ⧁āϰ āĻœā§āϝāĻžāĻŽāĻŋāϤāĻŋāĻ• āφāĻ•ā§ƒāϤāĻŋ āĻāĻŦāĻ‚ āĻŸā§‡āĻ•ā§āϏāϚāĻžāϰ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤāύ āĻĻā§āĻŦāĻžāϰāĻž āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧ
  2. āϏ⧇āĻ¨ā§āϏāϰ āϗ⧁āĻŖāĻŽāĻžāύ: āĻļ⧇āώ āĻ•āĻžāĻ°ā§āϝāĻ•āĻžāϰ⧀ āĻ—āĻ­ā§€āϰāϤāĻž āϏ⧇āĻ¨ā§āϏāϰ⧇āϰ āύāĻŋāĻŽā§āύ āϗ⧁āĻŖāĻŽāĻžāύ, āĻ—āĻ­ā§€āϰāϤāĻž āĻŽāĻžāύāϚāĻŋāĻ¤ā§āϰ⧇ āĻļāĻŦā§āĻĻ āϏ⧃āĻˇā§āϟāĻŋ āĻ•āϰ⧇
  3. āĻĒā§āϰāĻžāĻ•-āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻžāĻ•āϰāĻŖ āϏāĻžāĻŽāĻžā§āϜāĻ¸ā§āϝ: āĻŦāĻŋāĻ­āĻžāϜāύ āĻŽāĻžāĻ¸ā§āĻ• āφāĻ•āĻžāϰ āϏāĻžāĻŽāĻžā§āϜāĻ¸ā§āϝ āĻŽāĻžāĻā§‡āĻŽāĻ§ā§āϝ⧇ āĻĒā§āϰāĻžāĻ•-āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻžāĻ•āϰāĻŖ āϏāĻžāĻŽāĻžā§āϜāĻ¸ā§āϝāϕ⧇ āĻĒā§āϰāĻ­āĻžāĻŦāĻŋāϤ āĻ•āϰ⧇
  4. āĻŦāĻ¸ā§āϤ⧁āϰ āĻŦ⧈āϚāĻŋāĻ¤ā§āĻ°ā§āϝ: āĻŦāĻ°ā§āϤāĻŽāĻžāύ⧇ āĻĒā§āϰāϧāĻžāύāϤ āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āφāĻ•ā§ƒāϤāĻŋāϰ āĻŦāĻ¸ā§āϤ⧁āϰ āϜāĻ¨ā§āϝ (āĻŦā§‹āϤāϞ āϧāϰāύ⧇āϰ)

āĻ­āĻŦāĻŋāĻˇā§āϝāϤ āĻĻāĻŋāĻ•āύāĻŋāĻ°ā§āĻĻ⧇āĻļāύāĻž

  1. āĻĄā§‡āϟāĻžāϏ⧇āϟ āϏāĻŽā§āĻĒā§āϰāϏāĻžāϰāĻŖ: āφāϰāĻ“ āĻŦ⧈āϚāĻŋāĻ¤ā§āĻ°ā§āϝāĻŽāϝāĻŧ āĻŦāĻ¸ā§āϤ⧁āϰ āφāĻ•ā§ƒāϤāĻŋ, āφāĻ•āĻžāϰ āĻāĻŦāĻ‚ āĻŸā§‡āĻ•ā§āϏāϚāĻžāϰ āĻ…āĻ¨ā§āϤāĻ°ā§āϭ⧁āĻ•ā§āϤ āĻ•āϰāĻž
  2. āϏ⧇āĻ¨ā§āϏāϰ āωāĻ¨ā§āύāϤāĻŋ: āĻ—āĻ­ā§€āϰāϤāĻž āĻŽāĻžāύāϚāĻŋāĻ¤ā§āϰ āĻĄāĻŋ-āύāϝāĻŧ⧇āϜāĻŋāĻ‚āϝāĻŧ⧇āϰ āϜāĻ¨ā§āϝ āĻŽāϏ⧃āĻŖ āĻĢāĻŋāĻ˛ā§āϟāĻžāϰ āĻŦāĻž āĻŦāĻŋāĻļ⧇āώāĻžāϝāĻŧāĻŋāϤ ML āĻŽāĻĄā§‡āϞ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ āĻ•āϰāĻž
  3. āύāĻŋāϝāĻŧāĻ¨ā§āĻ¤ā§āϰāĻŖ āĻ•ā§ŒāĻļāϞ: SDK āϏāϰāĻžā§āϜāĻžāĻŽā§‡āϰ āĻŦāĻžāχāϰ⧇ āĻ—āϤāĻŋ āĻāĻŦāĻ‚ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ āĻ•ā§ŒāĻļāϞ āĻ…āĻ¨ā§āĻŦ⧇āώāĻŖ āĻ•āϰāĻž
  4. āϜāϟāĻŋāϞ āĻĒāϰāĻŋāĻŦ⧇āĻļ: āĻŦāĻšā§-āĻŦāĻ¸ā§āϤ⧁ āĻāĻŦāĻ‚ āĻ…āύāĻŋāϝāĻŧāĻŽāĻŋāϤ āĻĒ⧃āĻˇā§āϠ⧇āϰ āϜāϟāĻŋāϞ āĻĒāϰāĻŋāĻŦ⧇āĻļ⧇ āĻĒāϰ⧀āĻ•ā§āώāĻž āĻ•āϰāĻž

āĻ—āĻ­ā§€āϰ āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ

āϏ⧁āĻŦāĻŋāϧāĻž

  1. āĻļāĻ•ā§āϤāĻŋāĻļāĻžāϞ⧀ āωāĻĻā§āĻ­āĻžāĻŦāύ⧀: āϏāĻŋāĻŽā§āϞ⧇āĻļāύ-āĻĨ⧇āϕ⧇-āĻŦāĻžāĻ¸ā§āϤāĻŦāϤāĻž āĻĒāĻĻā§āϧāϤāĻŋ āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāϟ āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚āϝāĻŧ⧇ āϏāĻĢāϞāĻ­āĻžāĻŦ⧇ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰāĻž āĻšāϝāĻŧ⧇āϛ⧇
  2. āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āϏāĻŋāĻ¸ā§āĻŸā§‡āĻŽ: āωāĻĒāϞāĻŦā§āϧāĻŋ āĻĨ⧇āϕ⧇ āϏāĻŽā§āĻĒāĻžāĻĻāύ āĻĒāĻ°ā§āϝāĻ¨ā§āϤ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āϏāĻŽāĻžāϧāĻžāύ
  3. āĻ­āĻžāϞ āĻŦā§āϝāĻŦāĻšāĻžāϰāϝ⧋āĻ—ā§āϝāϤāĻž: āĻŦāĻžāĻ¸ā§āϤāĻŦ āϰ⧋āĻŦāĻŸā§‡ āĻĒāĻĻā§āϧāϤāĻŋāϰ āĻ•āĻžāĻ°ā§āϝāĻ•āĻžāϰāĻŋāϤāĻž āϝāĻžāϚāĻžāχ āĻ•āϰāĻž āĻšāϝāĻŧ⧇āϛ⧇
  4. āωāĻ¨ā§āύāϤ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋ: āĻŽāĻžāĻ˛ā§āϟāĻŋāĻŽā§‹āĻĄāĻžāϞ āϤāĻĨā§āϝ āĻāĻŦāĻ‚ āφāϧ⧁āύāĻŋāĻ• āĻ—āĻ­ā§€āϰ āĻļāĻŋāĻ•ā§āώāĻž āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋ āĻ•āĻžāĻ°ā§āϝāĻ•āϰāĻ­āĻžāĻŦ⧇ āĻāϕ⧀āĻ­ā§‚āϤ āĻ•āϰāĻž

āĻ…āĻĒā§‚āĻ°ā§āĻŖāϤāĻž

  1. āϏ⧀āĻŽāĻŋāϤ āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ: āĻĒāϰāĻŋāĻŽāĻžāĻŖāĻ—āϤ āϏāĻžāĻĢāĻ˛ā§āϝ⧇āϰ āĻšāĻžāϰ āĻĒāϰāĻŋāϏāĻ‚āĻ–ā§āϝāĻžāύ āĻāĻŦāĻ‚ āĻ…āĻ¨ā§āϝāĻžāĻ¨ā§āϝ āĻĒāĻĻā§āϧāϤāĻŋāϰ āϏāĻžāĻĨ⧇ āϤ⧁āϞāύāĻžāϰ āĻ…āĻ­āĻžāĻŦ
  2. āĻāĻ•āĻ• āĻŦāĻ¸ā§āϤ⧁: āĻĒā§āϰāϧāĻžāύāϤ āĻŦā§‹āϤāϞ-āφāĻ•ā§ƒāϤāĻŋāϰ āĻŦāĻ¸ā§āϤ⧁āϰ āϜāĻ¨ā§āϝ, āϏāĻžāϧāĻžāϰāĻŖā§€āĻ•āϰāĻŖ āĻ•ā§āώāĻŽāϤāĻž āφāϰāĻ“ āϝāĻžāϚāĻžāχāĻ•āϰāĻŖ āĻĒā§āϰāϝāĻŧā§‹āϜāύ
  3. āϏāϰāϞ āĻĒāϰāĻŋāĻŦ⧇āĻļ: āĻĒāϰ⧀āĻ•ā§āώāĻžāĻŽā§‚āϞāĻ• āĻĒāϰāĻŋāĻŦ⧇āĻļ āϤ⧁āϞāύāĻžāĻŽā§‚āϞāĻ•āĻ­āĻžāĻŦ⧇ āϏāϰāϞ, āϜāϟāĻŋāϞ āĻĻ⧃āĻļā§āϝ⧇ āĻ•āĻ°ā§āĻŽāĻ•ā§āώāĻŽāϤāĻž āĻ…āϜāĻžāύāĻž
  4. āϤāĻžāĻ¤ā§āĻ¤ā§āĻŦāĻŋāĻ• āĻŦāĻŋāĻļā§āϞ⧇āώāĻŖ: āĻĒāĻĻā§āϧāϤāĻŋāϰ āϤāĻžāĻ¤ā§āĻ¤ā§āĻŦāĻŋāĻ• āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻāĻŦāĻ‚ āĻŦā§āϝāĻ°ā§āĻĨāϤāĻžāϰ āϕ⧇āϏ āϏāĻŽā§āĻĒāĻ°ā§āϕ⧇ āĻ—āĻ­ā§€āϰ āĻŦāĻŋāĻļā§āϞ⧇āώāϪ⧇āϰ āĻ…āĻ­āĻžāĻŦ

āĻĒā§āϰāĻ­āĻžāĻŦ

  1. āĻāĻ•āĻžāĻĄā§‡āĻŽāĻŋāĻ• āĻ…āĻŦāĻĻāĻžāύ: āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāϟ āĻŽā§‹āĻŦāĻžāχāϞ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ āĻ—āĻŦ⧇āώāĻŖāĻžāϰ āϜāĻ¨ā§āϝ āύāϤ⧁āύ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋāĻ—āϤ āĻĒāĻĨ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇
  2. āĻŦā§āϝāĻŦāĻšāĻžāϰāĻŋāĻ• āĻŽā§‚āĻ˛ā§āϝ: āĻļāĻŋāĻ˛ā§āĻĒ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻāĻŦāĻ‚ āϏ⧇āĻŦāĻž āϰ⧋āĻŦāϟ āωāĻ¨ā§āύāϝāĻŧāύ⧇āϰ āϜāĻ¨ā§āϝ āϰ⧇āĻĢāĻžāϰ⧇āĻ¨ā§āϏ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇
  3. āĻĒ⧁āύāĻ°ā§ā§ŽāĻĒāĻžāĻĻāύāϝ⧋āĻ—ā§āϝāϤāĻž: GitHub āϏāĻ‚āĻ—ā§āϰāĻšāĻ¸ā§āĻĨāĻžāύ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇, āĻ—āĻŦ⧇āώāĻŖāĻž āĻĒ⧁āύāĻ°ā§ā§ŽāĻĒāĻžāĻĻāύ āĻāĻŦāĻ‚ āϏāĻŽā§āĻĒā§āϰāϏāĻžāϰāϪ⧇ āϏāĻšāĻžāϝāĻŧāϤāĻž āĻ•āϰ⧇
  4. āφāĻ¨ā§āϤāσāĻļ⧃āĻ™ā§āĻ–āϞāĻž āĻĒā§āϰāĻ­āĻžāĻŦ: āϰ⧋āĻŦā§‹āϟāĻŋāĻ•ā§āϏ, āĻ•āĻŽā§āĻĒāĻŋāωāϟāĻžāϰ āĻĻ⧃āĻˇā§āϟāĻŋ āĻāĻŦāĻ‚ āĻ—āĻ­ā§€āϰ āĻļāĻŋāĻ•ā§āώāĻžāϰ āĻāĻ•āĻžāϧāĻŋāĻ• āĻ•ā§āώ⧇āĻ¤ā§āϰ āĻāĻ•āĻ¤ā§āϰāĻŋāϤ āĻ•āϰ⧇

āĻĒā§āϰāϝ⧋āĻœā§āϝ āĻĻ⧃āĻļā§āϝ

  1. āĻļāĻŋāĻ˛ā§āĻĒ āĻ¸ā§āĻŦāϝāĻŧāĻ‚āĻ•ā§āϰāĻŋāϝāĻŧāĻ•āϰāĻŖ: āϜāϟāĻŋāϞ āĻĒāϰāĻŋāĻŦ⧇āĻļ⧇ āωāĻĒāĻ•āϰāĻŖ āĻĒāϰāĻŋāĻŦāĻšāύ āĻāĻŦāĻ‚ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ
  2. āĻ…āύ⧁āϏāĻ¨ā§āϧāĻžāύ āĻ“ āωāĻĻā§āϧāĻžāϰ āĻ•āĻžāϜ: āĻĻ⧁āĻ°ā§āϝ⧋āĻ— āĻĻ⧃āĻļā§āϝ⧇ āĻŦāĻ¸ā§āϤ⧁ āĻ¸ā§āĻŦā§€āĻ•ā§ƒāϤāĻŋ āĻāĻŦāĻ‚ āωāĻĻā§āϧāĻžāϰ āĻ…āĻĒāĻžāϰ⧇āĻļāύ
  3. āϏ⧇āĻŦāĻž āϰ⧋āĻŦāϟ: āĻŦāĻžāĻĄāĻŧāĻŋ āĻāĻŦāĻ‚ āĻ…āĻĢāĻŋāϏ āĻĒāϰāĻŋāĻŦ⧇āĻļ⧇ āĻŦāĻ¸ā§āϤ⧁ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ
  4. āĻ—āĻŦ⧇āώāĻŖāĻž āĻĒā§āĻ˛ā§āϝāĻžāϟāĻĢāĻ°ā§āĻŽ: āĻŽā§‹āĻŦāĻžāχāϞ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ āĻ…ā§āϝāĻžāϞāĻ—āϰāĻŋāĻĻāĻŽ āωāĻ¨ā§āύāϝāĻŧāύ āĻāĻŦāĻ‚ āϝāĻžāϚāĻžāχāĻ•āϰāĻŖ āĻĒā§āĻ˛ā§āϝāĻžāϟāĻĢāĻ°ā§āĻŽ

āϏāĻ‚āĻĻāĻ°ā§āĻ­

āĻĒ⧇āĻĒāĻžāϰāϟāĻŋ 14āϟāĻŋ āϏāĻŽā§āĻĒāĻ°ā§āĻ•āĻŋāϤ āϏāĻ‚āĻĻāĻ°ā§āĻ­ āωāĻĻā§āϧ⧃āϤ āĻ•āϰ⧇, āϝāĻž āĻŽā§‹āĻŦāĻžāχāϞ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ, āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāϟ, āĻ—āĻ­ā§€āϰ āĻļāĻŋāĻ•ā§āώāĻž āĻ—ā§āϰāĻžāϏāĻĒāĻŋāĻ‚ āĻāĻŦāĻ‚ āĻ…āĻ¨ā§āϝāĻžāĻ¨ā§āϝ āĻŽā§‚āϞ āĻ•ā§āώ⧇āĻ¤ā§āϰ⧇āϰ āϗ⧁āϰ⧁āĻ¤ā§āĻŦāĻĒā§‚āĻ°ā§āĻŖ āĻ•āĻžāϜ āĻ…āĻ¨ā§āϤāĻ°ā§āϭ⧁āĻ•ā§āϤ āĻ•āϰ⧇, āĻ—āĻŦ⧇āώāĻŖāĻžāϰ āϜāĻ¨ā§āϝ āĻāĻ•āϟāĻŋ āĻĻ⧃āĻĸāĻŧ āϤāĻžāĻ¤ā§āĻ¤ā§āĻŦāĻŋāĻ• āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇āĨ¤


āϏāĻžāĻŽāĻ—ā§āϰāĻŋāĻ• āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ: āĻāϟāĻŋ āĻāĻ•āϟāĻŋ āĻ¸ā§āĻĒāĻˇā§āϟ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋāĻ—āϤ āϰ⧁āϟ, āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ āĻāĻŦāĻ‚ āĻĒā§āϰāϝāĻŧā§‹āĻ—-āĻ­āĻŋāĻ¤ā§āϤāĻŋāĻ• āĻ—āĻŦ⧇āώāĻŖāĻž āĻĒ⧇āĻĒāĻžāϰāĨ¤ āϝāĻĻāĻŋāĻ“ āϤāĻžāĻ¤ā§āĻ¤ā§āĻŦāĻŋāĻ• āωāĻĻā§āĻ­āĻžāĻŦāύ āĻāĻŦāĻ‚ āĻŦā§āϝāĻžāĻĒāĻ• āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ⧇ āĻ•āĻŋāϛ⧁ āĻ…āĻ­āĻžāĻŦ āϰāϝāĻŧ⧇āϛ⧇, āϤāĻŦ⧇ āĻāϰ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āϏāĻŋāĻ¸ā§āĻŸā§‡āĻŽ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ āĻāĻŦāĻ‚ āĻŦāĻžāĻ¸ā§āϤāĻŦ āϰ⧋āĻŦāϟ āϝāĻžāϚāĻžāχāĻ•āϰāĻŖ āϚāϤ⧁āĻˇā§āĻĒāĻĻ āϰ⧋āĻŦāϟ āĻŽā§‹āĻŦāĻžāχāϞ āĻŽā§āϝāĻžāύāĻŋāĻĒ⧁āϞ⧇āĻļāύ āĻ—āĻŦ⧇āώāĻŖāĻžāϝāĻŧ āĻŽā§‚āĻ˛ā§āϝāĻŦāĻžāύ āĻ…āĻŦāĻĻāĻžāύ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇āĨ¤ āĻāχ āĻ•āĻžāϜ āĻĒāϰāĻŦāĻ°ā§āϤ⧀ āĻ—āĻŦ⧇āώāĻŖāĻžāϰ āϜāĻ¨ā§āϝ āĻāĻ•āϟāĻŋ āĻ­āĻžāϞ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻ¸ā§āĻĨāĻžāĻĒāύ āĻ•āϰ⧇, āĻŦāĻŋāĻļ⧇āώāϤ āϏāĻŋāĻŽā§āϞ⧇āĻļāύ-āĻĨ⧇āϕ⧇-āĻŦāĻžāĻ¸ā§āϤāĻŦāϤāĻž āĻ¸ā§āĻĨāĻžāύāĻžāĻ¨ā§āϤāϰ āĻāĻŦāĻ‚ āĻŽāĻžāĻ˛ā§āϟāĻŋāĻŽā§‹āĻĄāĻžāϞ āωāĻĒāϞāĻŦā§āϧāĻŋ āĻĢāĻŋāωāĻļāύ⧇āϰ āĻ•ā§āώ⧇āĻ¤ā§āϰ⧇āĨ¤