2025-11-17T17:13:12.426721

Cached Adaptive Token Merging: Dynamic Token Reduction and Redundant Computation Elimination in Diffusion Model

Saghatchian, Moghadam, Nickabadi
Diffusion models have emerged as a promising approach for generating high-quality, high-dimensional images. Nevertheless, these models are hindered by their high computational cost and slow inference, partly due to the quadratic computational complexity of the self-attention mechanisms with respect to input size. Various approaches have been proposed to address this drawback. One such approach focuses on reducing the number of tokens fed into the self-attention, known as token merging (ToMe). In our method, which is called cached adaptive token merging(CA-ToMe), we calculate the similarity between tokens and then merge the r proportion of the most similar tokens. However, due to the repetitive patterns observed in adjacent steps and the variation in the frequency of similarities, we aim to enhance this approach by implementing an adaptive threshold for merging tokens and adding a caching mechanism that stores similar pairs across several adjacent steps. Empirical results demonstrate that our method operates as a training-free acceleration method, achieving a speedup factor of 1.24 in the denoising process while maintaining the same FID scores compared to existing approaches.
academic

āĻ•ā§āϝāĻžāĻļāĻĄ āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻŸā§‹āϕ⧇āύ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚: āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞ⧇ āĻĄāĻžāϝāĻŧāύāĻžāĻŽāĻŋāĻ• āĻŸā§‹āϕ⧇āύ āϰāĻŋāĻĄāĻžāĻ•āĻļāύ āĻāĻŦāĻ‚ āϰāĻŋāĻĄāĻžāĻ¨ā§āĻĄā§‡āĻ¨ā§āϟ āĻ•āĻŽā§āĻĒāĻŋāωāĻŸā§‡āĻļāύ āĻāϞāĻŋāĻŽāĻŋāύ⧇āĻļāύ

āĻŽā§ŒāϞāĻŋāĻ• āϤāĻĨā§āϝ

  • āĻĒ⧇āĻĒāĻžāϰ āφāχāĻĄāĻŋ: 2501.00946
  • āĻļāĻŋāϰ⧋āύāĻžāĻŽ: āĻ•ā§āϝāĻžāĻļāĻĄ āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻŸā§‹āϕ⧇āύ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚: āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞ⧇ āĻĄāĻžāϝāĻŧāύāĻžāĻŽāĻŋāĻ• āĻŸā§‹āϕ⧇āύ āϰāĻŋāĻĄāĻžāĻ•āĻļāύ āĻāĻŦāĻ‚ āϰāĻŋāĻĄāĻžāĻ¨ā§āĻĄā§‡āĻ¨ā§āϟ āĻ•āĻŽā§āĻĒāĻŋāωāĻŸā§‡āĻļāύ āĻāϞāĻŋāĻŽāĻŋāύ⧇āĻļāύ
  • āϞ⧇āĻ–āĻ•: āĻ“āĻŽāĻŋāĻĻ āϏāĻžāĻ—āĻžāϚāĻŋāϝāĻŧāĻžāύ, āφāϤāĻŋāϝāĻŧ⧇āĻš āϘ. āĻŽā§‹āĻ—āĻžāĻĻāĻžāĻŽ, āφāĻšāĻŽāĻžāĻĻ āύāĻŋāĻ•āĻžāĻŦāĻžāĻĻāĻŋ (āφāĻŽāĻŋāϰāĻ•āĻžāĻŦāĻŋāϰ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋ āĻŦāĻŋāĻļā§āĻŦāĻŦāĻŋāĻĻā§āϝāĻžāϞāϝāĻŧ)
  • āĻļā§āϰ⧇āĻŖā§€āĻŦāĻŋāĻ­āĻžāĻ—: cs.CV (āĻ•āĻŽā§āĻĒāĻŋāωāϟāĻžāϰ āĻ­āĻŋāĻļāύ)
  • āĻĒā§āϰāĻ•āĻžāĻļāύāĻžāϰ āϏāĻŽāϝāĻŧ: ⧍ā§Ļ⧍ā§Ģ āϏāĻžāϞ⧇āϰ ā§§ āϜāĻžāύ⧁āϝāĻŧāĻžāϰāĻŋ (arXiv āĻĒā§āϰāĻŋāĻĒā§āϰāĻŋāĻ¨ā§āϟ)
  • āĻĒ⧇āĻĒāĻžāϰ āϞāĻŋāĻ™ā§āĻ•: https://arxiv.org/abs/2501.00946
  • āϕ⧋āĻĄ āϞāĻŋāĻ™ā§āĻ•: https://github.com/omidiu/ca_tome

āϏāĻžāϰāϏāĻ‚āĻ•ā§āώ⧇āĻĒ

āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞāϗ⧁āϞāĻŋ āωāĻšā§āϚ āĻŽāĻžāύ⧇āϰ, āωāĻšā§āϚ-āĻŽāĻžāĻ¤ā§āϰāĻŋāĻ• āĻ›āĻŦāĻŋ āϤ⧈āϰāĻŋāϰ āϜāĻ¨ā§āϝ āĻāĻ•āϟāĻŋ āĻĒā§āϰāϤāĻŋāĻļā§āϰ⧁āϤāĻŋāĻļā§€āϞ āĻĒāĻĻā§āϧāϤāĻŋ āĻšāϝāĻŧ⧇ āωāϠ⧇āϛ⧇āĨ¤ āϤāĻŦ⧇, āĻāχ āĻŽāĻĄā§‡āϞāϗ⧁āϞāĻŋ āωāĻšā§āϚ āĻ—āĻŖāύāĻžāĻŽā§‚āϞāĻ• āĻ–āϰāϚ āĻāĻŦāĻ‚ āϧ⧀āϰ āĻ…āύ⧁āĻŽāĻžāύ āĻ—āϤāĻŋ āĻĻā§āĻŦāĻžāϰāĻž āĻŦāĻžāϧāĻžāĻ—ā§āϰāĻ¸ā§āϤ āĻšāϝāĻŧ, āϝāĻž āφāĻ‚āĻļāĻŋāĻ•āĻ­āĻžāĻŦ⧇ āĻ¸ā§āĻŦ-āĻŽāύ⧋āϝ⧋āĻ— āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻžāĻ•āϰāϪ⧇āϰ āχāύāĻĒ⧁āϟ āφāĻ•āĻžāϰ⧇āϰ āϏāĻžāĻĒ⧇āĻ•ā§āώ⧇ āĻĻā§āĻŦāĻŋāϘāĻžāϤ āĻ—āĻŖāύāĻžāĻŽā§‚āϞāĻ• āϜāϟāĻŋāϞāϤāĻžāϰ āĻ•āĻžāϰāϪ⧇āĨ¤ āĻāχ āĻĒ⧇āĻĒāĻžāϰāϟāĻŋ āĻ•ā§āϝāĻžāĻļāĻĄ āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻŸā§‹āϕ⧇āύ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ (CA-ToMe) āĻĒāĻĻā§āϧāϤāĻŋ āĻĒā§āϰāĻ¸ā§āϤāĻžāĻŦ āĻ•āϰ⧇, āϝāĻž āĻŸā§‹āϕ⧇āύāϗ⧁āϞāĻŋāϰ āĻŽāĻ§ā§āϝ⧇ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻ—āĻŖāύāĻž āĻ•āϰ⧇ āĻāĻŦāĻ‚ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻŽāĻžāύ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āĻĒā§āϝāĻžāϰāĻžāĻŽāĻŋāϟāĻžāϰ t-āĻāϰ āĻšā§‡āϝāĻŧ⧇ āĻŦ⧇āĻļāĻŋ āĻŸā§‹āϕ⧇āύāϗ⧁āϞāĻŋ āĻāĻ•āĻ¤ā§āϰāĻŋāϤ āĻ•āϰ⧇ āĻāχ āϏāĻŽāĻ¸ā§āϝāĻžāϰ āϏāĻŽāĻžāϧāĻžāύ āĻ•āϰ⧇āĨ¤ āϏāĻ‚āϞāĻ—ā§āύ āϧāĻžāĻĒāϗ⧁āϞāĻŋāϤ⧇ āĻĒāĻ°ā§āϝāĻŦ⧇āĻ•ā§āώāĻŋāϤ āĻĒ⧁āύāϰāĻžāĻŦ⧃āĻ¤ā§āϤāĻŋāĻŽā§‚āϞāĻ• āĻĒā§āϝāĻžāϟāĻžāĻ°ā§āύ āĻāĻŦāĻ‚ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻĢā§āϰāĻŋāϕ⧋āϝāĻŧ⧇āĻ¨ā§āϏāĻŋāϰ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤāύ⧇āϰ āĻ•āĻžāϰāϪ⧇, āĻāχ āĻĒāĻĻā§āϧāϤāĻŋāϟāĻŋ āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰ⧇ āĻāĻŦāĻ‚ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻŽā§‡āĻ•āĻžāύāĻŋāϜāĻŽ āϝ⧋āĻ— āĻ•āϰ⧇ āĻŸā§‹āϕ⧇āύ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻĒāĻĻā§āϧāϤāĻŋāϕ⧇ āωāĻ¨ā§āύāϤ āĻ•āϰ⧇āĨ¤ āĻĒāϰ⧀āĻ•ā§āώāĻžāĻŽā§‚āϞāĻ• āĻĢāϞāĻžāĻĢāϞāϗ⧁āϞāĻŋ āĻĻ⧇āĻ–āĻžāϝāĻŧ āϝ⧇ āĻāχ āĻĒāĻĻā§āϧāϤāĻŋāϟāĻŋ āĻāĻ•āϟāĻŋ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŖ-āĻŽā§āĻ•ā§āϤ āĻ¤ā§āĻŦāϰāĻŖ āĻĒāĻĻā§āϧāϤāĻŋ āĻšāĻŋāϏāĻžāĻŦ⧇, āĻŦāĻŋāĻĻā§āϝāĻŽāĻžāύ āĻĒāĻĻā§āϧāϤāĻŋāϰ āϏāĻžāĻĨ⧇ āĻāĻ•āχ FID āĻ¸ā§āϕ⧋āϰ āĻŦāϜāĻžāϝāĻŧ āϰ⧇āϖ⧇ āĻĄāĻŋāύ⧋āχāϜāĻŋāĻ‚ āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻžāϝāĻŧ ā§§.⧍ā§Ē āϗ⧁āĻŖ āĻ¤ā§āĻŦāϰāĻŖ āĻ…āĻ°ā§āϜāύ āĻ•āϰ⧇āĨ¤

āĻ—āĻŦ⧇āώāĻŖāĻž āĻĒāϟāĻ­ā§‚āĻŽāĻŋ āĻāĻŦāĻ‚ āĻĒā§āϰ⧇āϰāĻŖāĻž

āϏāĻŽāĻ¸ā§āϝāĻžāϰ āϏāĻ‚āĻœā§āĻžāĻž

āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞāϗ⧁āϞāĻŋ āĻ›āĻŦāĻŋ āϤ⧈āϰāĻŋāϰ āĻ•āĻžāĻœā§‡ āϚāĻŽā§ŽāĻ•āĻžāϰ āĻĒāĻžāϰāĻĢāϰāĻŽā§āϝāĻžāĻ¨ā§āϏ āĻĒā§āϰāĻĻāĻ°ā§āĻļāύ āĻ•āϰ⧇ āĻ•āĻŋāĻ¨ā§āϤ⧁ āϗ⧁āϰ⧁āϤāϰ āĻ—āĻŖāύāĻžāĻŽā§‚āϞāĻ• āĻĻāĻ•ā§āώāϤāĻž āϏāĻŽāĻ¸ā§āϝāĻžāϰ āϏāĻŽā§āĻŽā§āĻ–ā§€āύ āĻšāϝāĻŧ: ā§§. āωāĻšā§āϚ āĻ—āĻŖāύāĻžāĻŽā§‚āϞāĻ• āĻ–āϰāϚ: āĻ¸ā§āĻŦ-āĻŽāύ⧋āϝ⧋āĻ— āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻžāĻ•āϰāϪ⧇āϰ āĻĻā§āĻŦāĻŋāϘāĻžāϤ āϜāϟāĻŋāϞāϤāĻž āϧ⧀āϰ āĻ…āύ⧁āĻŽāĻžāύ āĻ—āϤāĻŋāϰ āĻĻāĻŋāϕ⧇ āĻĒāϰāĻŋāϚāĻžāϞāĻŋāϤ āĻ•āϰ⧇ āĨ¨. āĻ•ā§āϰāĻŽāĻŋāĻ• āĻĄāĻŋāύ⧋āχāϜāĻŋāĻ‚ āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻž: āϏāĻŽāĻžāĻ¨ā§āϤāϰāĻžāϞāĻ•āϰāĻŖ āĻ•āϰāĻž āϝāĻžāϝāĻŧ āύāĻž, āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻĄāĻŋāύ⧋āχāϜāĻŋāĻ‚ āϧāĻžāĻĒ⧇ āĻĒ⧁āύāϰāĻžāĻŦ⧃āĻ¤ā§āϤāĻŋāĻŽā§‚āϞāĻ• āĻ—āĻŖāύāĻž āĻĒā§āϰāϝāĻŧā§‹āϜāύ āĨŠ. āϰāĻŋāĻĄāĻžāĻ¨ā§āĻĄā§‡āĻ¨ā§āϟ āĻ—āĻŖāύāĻž: āϏāĻ‚āϞāĻ—ā§āύ āϏāĻŽāϝāĻŧ āϧāĻžāĻĒāϗ⧁āϞāĻŋāϰ āĻŽāĻ§ā§āϝ⧇ āĻĒā§āϰāϚ⧁āϰ āĻĒ⧁āύāϰāĻžāĻŦ⧃āĻ¤ā§āϤāĻŋāĻŽā§‚āϞāĻ• āĻ—āĻŖāύāĻž āĻŦāĻŋāĻĻā§āϝāĻŽāĻžāύ

āϏāĻŽāĻ¸ā§āϝāĻžāϰ āϗ⧁āϰ⧁āĻ¤ā§āĻŦ

  • āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞ⧇āϰ āωāĻšā§āϚ āĻŦāĻŋāϞāĻŽā§āĻŦ āĻĻā§āϰ⧁āϤ āĻ…āύ⧁āĻŽāĻžāύ⧇āϰ āĻĒā§āϰāϝāĻŧā§‹āϜāύ āĻāĻŽāύ āĻ…ā§āϝāĻžāĻĒā§āϞāĻŋāϕ⧇āĻļāύāϗ⧁āϞāĻŋāϤ⧇ āĻāϰ āĻŦā§āϝāĻŦāĻšāĻžāϰ āϏ⧀āĻŽāĻŋāϤ āĻ•āϰ⧇
  • āωāĻšā§āϚ āĻ—āĻŖāύāĻžāĻŽā§‚āϞāĻ• āĻ–āϰāϚ āĻŽāĻĄā§‡āϞ āĻ¸ā§āĻĨāĻžāĻĒāύāĻž āĻ•āĻ āĻŋāύ āĻ•āϰ⧇ āϤ⧋āϞ⧇, āĻŦāĻŋāĻļ⧇āώāϤ āϏāĻŽā§āĻĒāĻĻ-āϏ⧀āĻŽāĻŋāϤ āĻĒāϰāĻŋāĻŦ⧇āĻļ⧇
  • āĻŦāĻŋāĻĻā§āϝāĻŽāĻžāύ āĻ¤ā§āĻŦāϰāĻŖ āĻĒāĻĻā§āϧāϤāĻŋāϗ⧁āϞāĻŋ āĻšāϝāĻŧ āĻĒ⧁āύāσāĻĒā§āϰāĻļāĻŋāĻ•ā§āώāϪ⧇āϰ āĻĒā§āϰāϝāĻŧā§‹āϜāύ āĻŦāĻž āϗ⧁āĻŖāĻŽāĻžāύ⧇ āωāĻ˛ā§āϞ⧇āĻ–āϝ⧋āĻ—ā§āϝ āĻ•ā§āώāϤāĻŋ āϘāϟāĻžāϝāĻŧ

āĻŦāĻŋāĻĻā§āϝāĻŽāĻžāύ āĻĒāĻĻā§āϧāϤāĻŋāϰ āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧāϤāĻž

āĨ§. āύāĻŽā§āύāĻž āĻ—ā§āϰāĻšāϪ⧇āϰ āϧāĻžāĻĒ āĻšā§āϰāĻžāϏ āĻ•āϰāĻžāϰ āĻĒāĻĻā§āϧāϤāĻŋāϗ⧁āϞāĻŋ āϏāĻžāϧāĻžāϰāĻŖāϤ āĻĒ⧁āύāσāĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŖ āĻŦāĻž āϜāϟāĻŋāϞ āϏāĻ‚āĻ–ā§āϝāĻžāĻ—āϤ āϏāĻŽāĻžāϧāĻžāύāĻ•āĻžāϰ⧀āϰ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻĒā§āϰāϝāĻŧā§‹āϜāύ āĨ¨. āĻŸā§‹āϕ⧇āύ āĻĒā§āϰ⧁āύāĻŋāĻ‚ āĻĒāĻĻā§āϧāϤāĻŋāϗ⧁āϞāĻŋ āϤāĻĨā§āϝ āĻšāĻžāϰāĻžāύ⧋ āĻāĻŦāĻ‚ āĻ•āĻ°ā§āĻŽāĻ•ā§āώāĻŽāϤāĻž āĻšā§āϰāĻžāϏ āϘāϟāĻžāϝāĻŧ āĨŠ. āϐāϤāĻŋāĻšā§āϝāĻŦāĻžāĻšā§€ āĻŸā§‹āϕ⧇āύ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ (ToMe) āĻāĻ•āϟāĻŋ āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻšāĻžāϰ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇, āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āϏāĻŽāϝāĻŧ āϧāĻžāĻĒ āĻāĻŦāĻ‚ āĻ¸ā§āϤāϰ⧇ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻŦāĻŋāϤāϰāϪ⧇āϰ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤāύ⧇āϰ āϏāĻžāĻĨ⧇ āĻ–āĻžāĻĒ āĻ–āĻžāχāϝāĻŧ⧇ āύāĻŋāϤ⧇ āĻĒāĻžāϰ⧇ āύāĻž

āĻ—āĻŦ⧇āώāĻŖāĻž āĻĒā§āϰ⧇āϰāĻŖāĻž

āĻĻ⧁āϟāĻŋ āĻŽā§‚āϞ āĻĒāĻ°ā§āϝāĻŦ⧇āĻ•ā§āώāϪ⧇āϰ āωāĻĒāϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻ•āϰ⧇: āĨ§. āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āϏāĻŽāϝāĻŧ āϧāĻžāĻĒ āĻāĻŦāĻ‚ āĻ¸ā§āϤāϰ⧇ āĻŸā§‹āϕ⧇āύ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻŦāĻŋāϤāϰāϪ⧇ āωāĻ˛ā§āϞ⧇āĻ–āϝ⧋āĻ—ā§āϝ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤāύ āĻŦāĻŋāĻĻā§āϝāĻŽāĻžāύ āĨ¨. āϏāĻ‚āϞāĻ—ā§āύ āĻ…āύ⧁āĻŽāĻžāύ āϧāĻžāĻĒāϗ⧁āϞāĻŋāϰ āĻŽāĻ§ā§āϝ⧇ āĻŸā§‹āϕ⧇āύ āĻœā§‹āĻĄāĻŧāϗ⧁āϞāĻŋ āωāĻšā§āϚ āĻŽāĻžāĻ¤ā§āϰāĻžāϰ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻĒā§āϰāĻĻāĻ°ā§āĻļāύ āĻ•āϰ⧇

āĻŽā§‚āϞ āĻ…āĻŦāĻĻāĻžāύ

āĨ§. āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āĻŽā§‡āĻ•āĻžāύāĻŋāϜāĻŽ āĻĒā§āϰāĻ¸ā§āϤāĻžāĻŦ: āĻŸā§‹āϕ⧇āύ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻŦāĻŋāϤāϰāϪ⧇āϰ āωāĻĒāϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻ•āϰ⧇ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻ•ā§ŒāĻļāϞ āĻ—āϤāĻŋāĻļā§€āϞāĻ­āĻžāĻŦ⧇ āϏāĻžāĻŽāĻžā§āϜāĻ¸ā§āϝ āĻ•āϰ⧇, āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻšāĻžāϰ⧇āϰ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤ⧇ āĨ¨. āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻŽā§‡āĻ•āĻžāύāĻŋāϜāĻŽ āĻĄāĻŋāϜāĻžāχāύ: āϏāĻ‚āϞāĻ—ā§āύ āϧāĻžāĻĒāϗ⧁āϞāĻŋāϰ āĻŽāĻ§ā§āϝ⧇ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇, āĻĒ⧁āύāϰāĻžāĻŦ⧃āĻ¤ā§āϤāĻŋāĻŽā§‚āϞāĻ• āĻ—āĻŖāύāĻž āĻšā§āϰāĻžāϏ āĻ•āϰāϤ⧇ āĻŸā§‹āϕ⧇āύ āĻœā§‹āĻĄāĻŧāϗ⧁āϞāĻŋ āĻ•ā§āϝāĻžāĻļ āĻ•āϰ⧇ āĨŠ. āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŖ-āĻŽā§āĻ•ā§āϤ āĻ¤ā§āĻŦāϰāĻŖ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ: āĻĒāĻĻā§āϧāϤāĻŋāϟāĻŋ āĻĒā§‚āĻ°ā§āĻŦ-āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŋāϤ āĻŽāĻĄā§‡āϞāϗ⧁āϞāĻŋāϤ⧇ āϏāϰāĻžāϏāϰāĻŋ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰāĻž āϝāĻžāϝāĻŧ, āĻĒ⧁āύāσāĻĒā§āϰāĻļāĻŋāĻ•ā§āώāϪ⧇āϰ āĻĒā§āϰāϝāĻŧā§‹āϜāύ āύ⧇āχ āĨĒ. āωāĻ¨ā§āύāϤ āϗ⧁āĻŖāĻŽāĻžāύ-āĻ—āϤāĻŋ āĻŸā§āϰ⧇āĻĄ-āĻ…āĻĢ āĻ…āĻ°ā§āϜāύ: āĻŦ⧇āϏāϞāĻžāχāύ ToMe āĻĒāĻĻā§āϧāϤāĻŋāϰ āϤ⧁āϞāύāĻžāϝāĻŧ, āĻ›āĻŦāĻŋāϰ āϗ⧁āĻŖāĻŽāĻžāύ āĻŦāϜāĻžāϝāĻŧ āϰ⧇āϖ⧇ āĻĻā§āϰ⧁āϤ āĻ…āύ⧁āĻŽāĻžāύ āĻ—āϤāĻŋ āĻ…āĻ°ā§āϜāύ āĻ•āϰ⧇

āĻĒāĻĻā§āϧāϤāĻŋāϰ āĻŦāĻŋāĻ¸ā§āϤāĻžāϰāĻŋāϤ āĻŦā§āϝāĻžāĻ–ā§āϝāĻž

āĻ•āĻžāĻœā§‡āϰ āϏāĻ‚āĻœā§āĻžāĻž

āχāύāĻĒ⧁āϟ: āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞ āĻĄāĻŋāύ⧋āχāϜāĻŋāĻ‚ āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻžāϝāĻŧ āĻŸā§‹āϕ⧇āύ āϏāĻŋāϕ⧋āϝāĻŧ⧇āĻ¨ā§āϏ āφāωāϟāĻĒ⧁āϟ: āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻāĻŦāĻ‚ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻ…āĻĒā§āϟāĻŋāĻŽāĻžāχāĻœā§‡āĻļāύ⧇āϰ āĻŽāĻžāĻ§ā§āϝāĻŽā§‡ āĻ¤ā§āĻŦāϰāĻŋāϤ āĻ…āύ⧁āĻŽāĻžāύ āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻž āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧāϤāĻž: āĻ‰ā§ŽāĻĒāĻ¨ā§āύ āĻ›āĻŦāĻŋāϰ āϗ⧁āĻŖāĻŽāĻžāύ āωāĻ˛ā§āϞ⧇āĻ–āϝ⧋āĻ—ā§āϝāĻ­āĻžāĻŦ⧇ āĻšā§āϰāĻžāϏ āύāĻž āĻ•āϰāĻž

āĻŽāĻĄā§‡āϞ āφāĻ°ā§āĻ•āĻŋāĻŸā§‡āĻ•āϚāĻžāϰ

āĨ§. āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻŸā§‹āϕ⧇āύ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻŽā§‡āĻ•āĻžāύāĻŋāϜāĻŽ

āϐāϤāĻŋāĻšā§āϝāĻŦāĻžāĻšā§€ ToMe āĻĒāĻĻā§āϧāϤāĻŋ āĻŸā§‹āϕ⧇āύ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚āϝāĻŧ⧇āϰ āϜāĻ¨ā§āϝ āĻāĻ•āϟāĻŋ āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻ…āύ⧁āĻĒāĻžāϤ r āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇, āϝāĻ–āύ CA-ToMe āĻāĻ•āϟāĻŋ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ t āĻĒā§āϰāĻŦāĻ°ā§āϤāύ āĻ•āϰ⧇:

āĻŽā§‚āϞ āϧāĻžāϰāĻŖāĻž:

  • āĻ›āĻŦāĻŋāϟāĻŋāϕ⧇ sx × sy āφāĻ•āĻžāϰ⧇āϰ āĻ¸ā§āĻŸā§āϰāĻžāχāĻĄ āĻ…āĻžā§āϚāϞ⧇ āĻŦāĻŋāĻ­āĻ•ā§āϤ āĻ•āϰ⧁āύ
  • āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻ¸ā§āĻŸā§āϰāĻžāχāĻĄ āĻ…āĻžā§āϚāϞ⧇āϰ āĻŦāĻžāĻŽ āωāĻĒāϰ⧇āϰ āϕ⧋āϪ⧇āϰ āĻŸā§‹āϕ⧇āύāϕ⧇ āϞāĻ•ā§āĻˇā§āϝ āĻŸā§‹āϕ⧇āύ āĻšāĻŋāϏāĻžāĻŦ⧇ āύāĻŋāĻ°ā§āĻŦāĻžāϚāύ āĻ•āϰ⧁āύ
  • āĻ‰ā§ŽāϏ āĻŸā§‹āϕ⧇āύ āĻāĻŦāĻ‚ āϞāĻ•ā§āĻˇā§āϝ āĻŸā§‹āϕ⧇āύ⧇āϰ āĻŽāĻ§ā§āϝ⧇ āϕ⧋āϏāĻžāχāύ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻ—āĻŖāύāĻž āĻ•āϰ⧁āύ
  • āĻļ⧁āϧ⧁āĻŽāĻžāĻ¤ā§āϰ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ t āĻ…āϤāĻŋāĻ•ā§āϰāĻŽ āĻ•āϰāĻž āϏāĻžāĻĻ⧃āĻļā§āϝ āϏāĻš āĻŸā§‹āϕ⧇āύ āĻœā§‹āĻĄāĻŧāϗ⧁āϞāĻŋ āĻāĻ•āĻ¤ā§āϰāĻŋāϤ āĻ•āϰ⧁āύ

āϏ⧁āĻŦāĻŋāϧāĻž āĻŦāĻŋāĻļā§āϞ⧇āώāĻŖ:

  • āĻĒāϰāĻŋāĻ¸ā§āĻĨāĻŋāϤāĻŋ A: āϝāĻ–āύ āĻŦ⧇āĻļāĻŋāϰāĻ­āĻžāĻ— āĻŸā§‹āϕ⧇āύ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻ•āĻŽ āĻĨāĻžāϕ⧇, āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻšāĻžāϰ āĻ…āϏāĻžāĻĻ⧃āĻļā§āϝāĻĒā§‚āĻ°ā§āĻŖ āĻŸā§‹āϕ⧇āύāϗ⧁āϞāĻŋ āĻāĻ•āĻ¤ā§āϰāĻŋāϤ āĻ•āϰāϤ⧇ āĻŦāĻžāĻ§ā§āϝ āĻ•āϰ⧇, āϤāĻĨā§āϝ āĻšāĻžāϰāĻžāύ⧋āϰ āĻĻāĻŋāϕ⧇ āĻĒāϰāĻŋāϚāĻžāϞāĻŋāϤ āĻ•āϰ⧇āĨ¤ āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āύāĻŋāĻļā§āϚāĻŋāϤ āĻ•āϰ⧇ āϝ⧇ āĻļ⧁āϧ⧁āĻŽāĻžāĻ¤ā§āϰ āωāĻšā§āϚ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻŸā§‹āϕ⧇āύāϗ⧁āϞāĻŋ āĻāĻ•āĻ¤ā§āϰāĻŋāϤ āĻšāϝāĻŧ
  • āĻĒāϰāĻŋāĻ¸ā§āĻĨāĻŋāϤāĻŋ B: āϝāĻ–āύ āĻŦ⧇āĻļāĻŋāϰāĻ­āĻžāĻ— āĻŸā§‹āϕ⧇āύ āĻ…āĻ¤ā§āϝāĻ¨ā§āϤ āϏāĻžāĻĻ⧃āĻļā§āϝāĻĒā§‚āĻ°ā§āĻŖ āĻĨāĻžāϕ⧇ (āϝ⧇āĻŽāύ āĻĄāĻŋāύ⧋āχāϜāĻŋāĻ‚āϝāĻŧ⧇āϰ āĻĒā§āϰāĻžāĻĨāĻŽāĻŋāĻ• āĻĒāĻ°ā§āϝāĻžāϝāĻŧ⧇), āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻšāĻžāϰ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚āϝāĻŧ⧇āϰ āĻĒāϰāĻŋāĻŽāĻžāĻŖ āϏ⧀āĻŽāĻŋāϤ āĻ•āϰ⧇āĨ¤ āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āφāϰāĻ“ āĻŸā§‹āϕ⧇āύ āĻāĻ•āĻ¤ā§āϰāĻŋāϤ āĻ•āϰāĻžāϰ āĻ…āύ⧁āĻŽāϤāĻŋ āĻĻ⧇āϝāĻŧ, āĻĻāĻ•ā§āώāϤāĻž āĻŦ⧃āĻĻā§āϧāĻŋ āĻ•āϰ⧇

āĨ¨. āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻŽā§‡āĻ•āĻžāύāĻŋāϜāĻŽ āĻĄāĻŋāϜāĻžāχāύ

āĻœā§āϝāĻžāĻ•āĻžāĻ°ā§āĻĄ āĻĻā§‚āϰāĻ¤ā§āĻŦ āĻŦāĻŋāĻļā§āϞ⧇āώāϪ⧇āϰ āωāĻĒāϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻ•āϰ⧇ āϏāĻ‚āϞāĻ—ā§āύ āϧāĻžāĻĒāϗ⧁āϞāĻŋāϰ āĻŽāĻ§ā§āϝ⧇ āĻŸā§‹āϕ⧇āύ āĻœā§‹āĻĄāĻŧ⧇āϰ āωāĻšā§āϚ āϏāĻžāĻĻ⧃āĻļā§āϝ āφāĻŦāĻŋāĻˇā§āĻ•ā§ƒāϤ āĻšāϝāĻŧ⧇āϛ⧇:

JaccardDistance(An,An+1)=1âˆ’âˆŖAn∊An+1âˆŖâˆŖAnâˆĒAn+1âˆŖJaccardDistance(A_n, A_{n+1}) = 1 - \frac{|A_n \cap A_{n+1}|}{|A_n \cup A_{n+1}|}

āϝ⧇āĻ–āĻžāύ⧇ An n-āϤāĻŽ āϧāĻžāĻĒ⧇āϰ āϏāĻŽāĻ¸ā§āϤ āĻ‰ā§ŽāϏ-āϞāĻ•ā§āĻˇā§āϝ āĻŸā§‹āϕ⧇āύ āĻœā§‹āĻĄāĻŧ⧇āϰ āϏ⧇āϟ āĻĒā§āϰāϤāĻŋāύāĻŋāϧāĻŋāĻ¤ā§āĻŦ āĻ•āϰ⧇āĨ¤

āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ āĻ•ā§ŒāĻļāϞ:

  • āĻšā§‡āĻ•āĻĒāϝāĻŧ⧇āĻ¨ā§āϟ (checkpoints) āϏ⧇āϟ āĻ•āϰ⧁āύ, āĻļ⧁āϧ⧁āĻŽāĻžāĻ¤ā§āϰ āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āϏāĻŽāϝāĻŧ āϧāĻžāĻĒ⧇ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻŽā§āϝāĻžāĻŸā§āϰāĻŋāĻ•ā§āϏ āĻ—āĻŖāύāĻž āĻ•āϰ⧁āύ
  • āĻ…-āĻšā§‡āĻ•āĻĒāϝāĻŧ⧇āĻ¨ā§āϟ āϧāĻžāĻĒāϗ⧁āϞāĻŋāϤ⧇ āĻĒā§‚āĻ°ā§āĻŦ⧇ āĻ—āĻŖāύāĻž āĻ•āϰāĻž āĻŸā§‹āϕ⧇āύ āĻœā§‹āĻĄāĻŧāϗ⧁āϞāĻŋ āĻĒ⧁āύāϰāĻžāϝāĻŧ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧁āύ
  • āϏāĻžāĻĻ⧃āĻļā§āϝ āĻŽā§āϝāĻžāĻŸā§āϰāĻŋāĻ•ā§āϏ⧇āϰ āĻĒ⧁āύāϰāĻžāĻŦ⧃āĻ¤ā§āϤāĻŋāĻŽā§‚āϞāĻ• āĻ—āĻŖāύāĻž āĻ“āĻ­āĻžāϰāĻšā§‡āĻĄ āωāĻ˛ā§āϞ⧇āĻ–āϝ⧋āĻ—ā§āϝāĻ­āĻžāĻŦ⧇ āĻšā§āϰāĻžāϏ āĻ•āϰ⧁āύ

āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋāĻ—āϤ āωāĻĻā§āĻ­āĻžāĻŦāύ⧀ āĻĒāϝāĻŧ⧇āĻ¨ā§āϟ

āĨ§. āĻ—āϤāĻŋāĻļā§€āϞ āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­āĻŋāϟāĻŋ: āϏāĻžāĻĻ⧃āĻļā§āϝ āĻŦāĻŋāϤāϰāϪ⧇āϰ āωāĻĒāϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻ•āϰ⧇ āĻ¸ā§āĻŦāϝāĻŧāĻ‚āĻ•ā§āϰāĻŋāϝāĻŧāĻ­āĻžāĻŦ⧇ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻ•ā§ŒāĻļāϞ āϏāĻžāĻŽāĻžā§āϜāĻ¸ā§āϝ āĻ•āϰ⧇, āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻĒā§āϝāĻžāϰāĻžāĻŽāĻŋāϟāĻžāϰ⧇āϰ āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧāϤāĻž āĻāĻĄāĻŧāĻžāϝāĻŧ āĨ¨. āϏāĻŽāϝāĻŧ āĻŽāĻžāĻ¤ā§āϰāĻž āĻ…āĻĒā§āϟāĻŋāĻŽāĻžāχāĻœā§‡āĻļāύ: āϏāĻŽāϝāĻŧ āϧāĻžāĻĒāϗ⧁āϞāĻŋāϰ āĻŽāĻ§ā§āϝ⧇ āϰāĻŋāĻĄāĻžāĻ¨ā§āĻĄā§‡āĻ¨ā§āϏāĻŋ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇, āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚āϝāĻŧ⧇āϰ āĻŽāĻžāĻ§ā§āϝāĻŽā§‡ āĻ—āĻŖāύāĻžāϰ āĻĒāϰāĻŋāĻŽāĻžāĻŖ āĻšā§āϰāĻžāϏ āĻ•āϰ⧇ āĨŠ. āĻ¸ā§āϤāϰ-āĻ¸ā§āϤāϰ⧇āϰ āύāĻŋāĻ°ā§āĻŦāĻžāϚāύ⧀ āĻĒā§āϰāϝāĻŧā§‹āĻ—: āĻŦāĻŋāĻļ⧇āώāĻ­āĻžāĻŦ⧇ āĻ—āĻŖāύāĻž-āύāĻŋāĻŦāĻŋāĻĄāĻŧ U-Net āĻļā§€āĻ°ā§āώ āĻ¸ā§āϤāϰāϗ⧁āϞāĻŋāϤ⧇ (D1 āĻāĻŦāĻ‚ U1) āĻ…āĻĒā§āϟāĻŋāĻŽāĻžāχāĻœā§‡āĻļāύ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰ⧇ āĨĒ. āĻĒ⧁āύāσāĻĒā§āϰāĻļāĻŋāĻ•ā§āώāϪ⧇āϰ āĻĒā§āϰāϝāĻŧā§‹āϜāύ āύ⧇āχ: āĻāĻ•āϟāĻŋ āĻĒā§āϞāĻžāĻ—-āĻāĻ¨ā§āĻĄ-āĻĒā§āϞ⧇ āĻ¤ā§āĻŦāϰāĻŖ āĻĒāĻĻā§āϧāϤāĻŋ āĻšāĻŋāϏāĻžāĻŦ⧇, āĻŦāĻŋāĻĻā§āϝāĻŽāĻžāύ āĻŽāĻĄā§‡āϞāϗ⧁āϞāĻŋāϤ⧇ āϏāϰāĻžāϏāϰāĻŋ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰāĻž āϝāĻžāϝāĻŧ

āĻĒāϰ⧀āĻ•ā§āώāĻžāĻŽā§‚āϞāĻ• āϏ⧇āϟāφāĻĒ

āĻĄā§‡āϟāĻžāϏ⧇āϟ

  • ImageNet-1k āĻĄā§‡āϟāĻžāϏ⧇āϟ: ⧍ā§Ļā§Ļā§ĻāϟāĻŋ ā§ĢāĨ§āĨ¨Ã—āĨĢāĨ§āĨ¨ āϰ⧇āĻœā§‹āϞāĻŋāωāĻļāύ⧇āϰ āĻ›āĻŦāĻŋ āϤ⧈āϰāĻŋ āĻ•āϰ⧁āύ (āĻĒā§āϰāϤāĻŋ āĻ•ā§āϞāĻžāϏ āĨ¨āϟāĻŋ, āĻŽā§‹āϟ āĨ§āĨĻāĨĻāĨĻ āĻ•ā§āϞāĻžāϏ)
  • āϝāĻžāϚāĻžāχāĻ•āϰāĻŖ āϏ⧇āϟ: FID āĻ¸ā§āϕ⧋āϰ āĻ—āĻŖāύāĻž āĻ•āϰāϤ⧇ āĨĢāĨĻāĨĻāĨĻ ImageNet-1k āϝāĻžāϚāĻžāχāĻ•āϰāĻŖ āĻ›āĻŦāĻŋ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧁āύ
  • āĻĒā§āϰāĻŽā§āĻĒāϟ āĻŸā§‡āĻŽāĻĒā§āϞ⧇āϟ: "A high-quality photograph of a classname."

āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ āĻŽā§‡āĻŸā§āϰāĻŋāĻ•ā§āϏ

āĨ§. FID (FrÊchet Inception Distance): āĻ‰ā§ŽāĻĒāĻ¨ā§āύ āĻ›āĻŦāĻŋāϰ āϗ⧁āĻŖāĻŽāĻžāύ āĻĒāϰāĻŋāĻŽāĻžāĻĒ⧇āϰ āĻĒā§āϰāϧāĻžāύ āĻŽā§‡āĻŸā§āϰāĻŋāĻ• āĨ¨. āĻ…āύ⧁āĻŽāĻžāύ āϏāĻŽāϝāĻŧ: āĨ¨āĨĻāĨĻāĨĻ āĻ›āĻŦāĻŋ āϤ⧈āϰāĻŋāϰ āĻ—āĻĄāĻŧ āϏāĻŽāϝāĻŧ āĨŠ. PSNR: āĻļāĻŋāĻ–āϰ āϏāĻ‚āϕ⧇āϤ-āĻĨ⧇āϕ⧇-āĻļāĻŦā§āĻĻ āĻ…āύ⧁āĻĒāĻžāϤ, āĻĒāĻŋāĻ•ā§āϏ⧇āϞ-āĻ¸ā§āϤāϰ⧇āϰ āĻĒ⧁āύāĻ°ā§āύāĻŋāĻ°ā§āĻŽāĻžāĻŖ āϗ⧁āĻŖāĻŽāĻžāύ āĻĒāϰāĻŋāĻŽāĻžāĻĒ āĻ•āϰ⧇ āĨĒ. SSIM: āĻ•āĻžāĻ āĻžāĻŽā§‹āĻ—āϤ āϏāĻžāĻĻ⧃āĻļā§āϝ āϏ⧂āϚāĻ•, āĻ¸ā§āĻĨāĻžāύāĻŋāĻ• āĻāĻŦāĻ‚ āĻ•āĻžāĻ āĻžāĻŽā§‹āĻ—āϤ āϏāĻžāĻŽāĻžā§āϜāĻ¸ā§āϝ āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ āĻ•āϰ⧇

āϤ⧁āϞāύāĻžāĻŽā§‚āϞāĻ• āĻĒāĻĻā§āϧāϤāĻŋ

  • āĻŦ⧇āϏāϞāĻžāχāύ: āĻŽā§‚āϞ Stable Diffusion v1.5
  • ToMe: āϐāϤāĻŋāĻšā§āϝāĻŦāĻžāĻšā§€ āĻŸā§‹āϕ⧇āύ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻĒāĻĻā§āϧāϤāĻŋ (r=50%)

āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ āĻŦāĻŋāĻŦāϰāĻŖ

  • āĻšāĻžāĻ°ā§āĻĄāĻ“āϝāĻŧā§āϝāĻžāϰ: Tesla V100S GPU
  • āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āϧāĻžāĻĒ: āĨĢāĨĻ āϧāĻžāĻĒ PLMS āύāĻŽā§āύāĻž āĻ—ā§āϰāĻšāĻŖ
  • CFG āĻ¸ā§āϕ⧇āϞ: 7.5
  • āĻ¸ā§āĻŸā§āϰāĻžāχāĻĄ āφāĻ•āĻžāϰ: āĨ¨Ã—āĨ¨ āĻ āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ
  • āĻĒā§āϰāϝāĻŧā§‹āĻ—āĻ•ā§ƒāϤ āĻ¸ā§āϤāϰ: āĻļ⧁āϧ⧁āĻŽāĻžāĻ¤ā§āϰ U-Net āĻāϰ D1 āĻāĻŦāĻ‚ U1 āĻ¸ā§āϤāϰ⧇ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰāĻž āĻšāϝāĻŧ

āĻĒāϰ⧀āĻ•ā§āώāĻžāĻŽā§‚āϞāĻ• āĻĢāϞāĻžāĻĢāϞ

āĻĒā§āϰāϧāĻžāύ āĻĢāϞāĻžāĻĢāϞ

āĻŽāĻĄā§‡āϞFIDāĻ—āĻĄāĻŧ āϏāĻŽāϝāĻŧ (s)āĻ¤ā§āĻŦāϰāĻŖ āĻ…āύ⧁āĻĒāĻžāϤ
āĻŦ⧇āϏāϞāĻžāχāύ33.667.61Âą0.0011.0×
ToMe34.166.39Âą0.0061.19×
CA-ToMe34.056.09Âą0.0011.24×

āĻŽā§‚āϞ āφāĻŦāĻŋāĻˇā§āĻ•āĻžāϰ:

  • CA-ToMe āĻĻā§āϰ⧁āϤāϤāĻŽ āĻ…āύ⧁āĻŽāĻžāύ āĻ—āϤāĻŋ āĻ…āĻ°ā§āϜāύ āĻ•āϰ⧇ (6.09s)
  • FID āĻ¸ā§āϕ⧋āϰ (34.05) ToMe (34.16) āĻāϰ āĻšā§‡āϝāĻŧ⧇ āĻ­āĻžāϞ, āĻŦ⧇āϏāϞāĻžāχāύ⧇āϰ āĻ•āĻžāĻ›āĻžāĻ•āĻžāĻ›āĻŋ (33.66)
  • āĻ—āϤāĻŋ āĻāĻŦāĻ‚ āϗ⧁āĻŖāĻŽāĻžāύ⧇āϰ āĻŽāĻ§ā§āϝ⧇ āϏāĻ°ā§āĻŦā§‹āĻ¤ā§āϤāĻŽ āĻ­āĻžāϰāϏāĻžāĻŽā§āϝ āĻ…āĻ°ā§āϜāύ āĻ•āϰ⧇

āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āĻĒā§āϝāĻžāϰāĻžāĻŽāĻŋāϟāĻžāϰ āĻŦāĻŋāĻļā§āϞ⧇āώāĻŖ

āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ tFIDāĻ—āĻĄāĻŧ āϏāĻŽāϝāĻŧ (s)PSNRSSIM
0.435.286.07Âą0.00727.900.191
0.535.466.07Âą0.00427.9090.208
0.635.566.10Âą0.00527.9080.218
0.734.306.23Âą0.00227.9100.234
0.833.806.58Âą0.00427.9040.239
0.933.426.92Âą0.00327.9070.238

āĻĒāĻ°ā§āϝāĻŦ⧇āĻ•ā§āώāĻŖ āĻĢāϞāĻžāĻĢāϞ:

  • āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ 0.4-0.6 āĻĒāϰāĻŋāϏāϰ⧇ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤāύ āϛ⧋āϟ, āĻ•āĻžāϰāĻŖ āĻŦ⧇āĻļāĻŋāϰāĻ­āĻžāĻ— āĻŸā§‹āϕ⧇āύ āϏāĻžāĻĻ⧃āĻļā§āϝ â‰Ĩ0.6
  • āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ 0.7 āϗ⧁āĻŖāĻŽāĻžāύ-āĻ—āϤāĻŋ āĻŸā§āϰ⧇āĻĄ-āĻ…āĻĢ⧇āϰ āϏāĻ°ā§āĻŦā§‹āĻ¤ā§āϤāĻŽ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇
  • āωāĻšā§āϚāϤāϰ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āϗ⧁āĻŖāĻŽāĻžāύ āωāĻ¨ā§āύāϤ āĻ•āϰ⧇ āĻ•āĻŋāĻ¨ā§āϤ⧁ āĻ—āϤāĻŋ āĻšā§āϰāĻžāϏ āĻ•āϰ⧇

āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻ•āύāĻĢāĻŋāĻ—āĻžāϰ⧇āĻļāύ āϤ⧁āϞāύāĻž

āĻ•āύāĻĢāĻŋāĻ—āĻžāϰ⧇āĻļāύāĻšā§‡āĻ•āĻĒāϝāĻŧ⧇āĻ¨ā§āϟ āϏ⧇āϟāĻŋāĻ‚āϏāĻŽāϝāĻŧ (s)FID
CONFIG 10,1,2,3,5,10,15,25,356.18Âą0.0236.14
CONFIG 20,10,11,12,15,20,25,30,35,456.13Âą0.00134.33
CONFIG 30,8,11,13,20,25,30,35,45,46,47,48,496.09Âą0.00134.05

CONFIG 3 āϏāĻ°ā§āĻŦā§‹āĻ¤ā§āϤāĻŽ āĻĒāĻžāϰāĻĢāϰāĻŽā§āϝāĻžāĻ¨ā§āϏ āĻĒā§āϰāĻĻāĻ°ā§āĻļāύ āĻ•āϰ⧇, āĻœā§āϝāĻžāĻ•āĻžāĻ°ā§āĻĄ āĻĻā§‚āϰāĻ¤ā§āĻŦ āĻŦāĻŋāĻļā§āϞ⧇āώāϪ⧇āϰ āϏāĻžāĻĨ⧇ āϏāĻžāĻŽāĻžā§āϜāĻ¸ā§āϝāĻĒā§‚āĻ°ā§āĻŖ, ā§Ž, āĨ§āĨ§, āĨ§āĨŠ āϧāĻžāĻĒ āĻāĻŦāĻ‚ āĻšā§‚āĻĄāĻŧāĻžāĻ¨ā§āϤ āϧāĻžāĻĒ⧇ āφāϰāĻ“ āĻšā§‡āĻ•āĻĒāϝāĻŧ⧇āĻ¨ā§āϟ āϏ⧇āϟ āĻ•āϰ⧇āĨ¤

āĻŦāĻŋāϞ⧋āĻĒāύ āĻĒāϰ⧀āĻ•ā§āώāĻž

āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āωāĻĒāĻžāĻĻāĻžāύ⧇āϰ āĻ…āĻŦāĻĻāĻžāύ āϤ⧁āϞāύāĻž āĻ•āϰ⧇: āĨ§. āĻļ⧁āϧ⧁āĻŽāĻžāĻ¤ā§āϰ āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ: āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻšāĻžāϰ⧇āϰ āϤ⧁āϞāύāĻžāϝāĻŧ āĻ›āĻŦāĻŋāϰ āϗ⧁āĻŖāĻŽāĻžāύ āωāĻ¨ā§āύāϤ āĻ•āϰ⧇ āĨ¨. āĻļ⧁āϧ⧁āĻŽāĻžāĻ¤ā§āϰ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻŽā§‡āĻ•āĻžāύāĻŋāϜāĻŽ: āĻ—āĻŖāύāĻž āϏāĻŽāϝāĻŧ āωāĻ˛ā§āϞ⧇āĻ–āϝ⧋āĻ—ā§āϝāĻ­āĻžāĻŦ⧇ āĻšā§āϰāĻžāϏ āĻ•āϰ⧇ āĨŠ. āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ CA-ToMe: āĻĻ⧁āϟāĻŋ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋāϰ āϏāĻŽāĻ¨ā§āĻŦāϝāĻŧ āϏāĻ°ā§āĻŦā§‹āĻ¤ā§āϤāĻŽ āĻ•āĻ°ā§āĻŽāĻ•ā§āώāĻŽāϤāĻž āĻ…āĻ°ā§āϜāύ āĻ•āϰ⧇

āϏāĻŽā§āĻĒāĻ°ā§āĻ•āĻŋāϤ āĻ•āĻžāϜ

āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞ āĻ¤ā§āĻŦāϰāĻŖ āĻĒāĻĻā§āϧāϤāĻŋ

āĨ§. āύāĻŽā§āύāĻž āĻ—ā§āϰāĻšāϪ⧇āϰ āϧāĻžāĻĒ āĻšā§āϰāĻžāϏ:

  • āĻœā§āĻžāĻžāύ āĻĒāĻžāϤāύ āĻĒāĻĻā§āϧāϤāĻŋ 26,51,28
  • āĻ…āĻ¨ā§āϤāĻ°ā§āύāĻŋāĻšāĻŋāϤ āύāĻŽā§āύāĻž āĻ—ā§āϰāĻšāĻŖ 32
  • āωāĻ¨ā§āύāϤ āĻĒāĻžāĻ°ā§āĻĨāĻ•ā§āϝ āϏāĻŽā§€āĻ•āϰāĻŖ āϏāĻŽāĻžāϧāĻžāύāĻ•āĻžāϰ⧀ 52,33
  • āĻŦ⧇āĻļāĻŋāϰāĻ­āĻžāĻ— āĻĒ⧁āύāσāĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŖ āĻĒā§āϰāϝāĻŧā§‹āϜāύ

āĨ¨. āĻĒā§āϰāϤāĻŋāϟāĻŋ āϧāĻžāĻĒ⧇ āĻ—āĻŖāύāĻž āĻšā§āϰāĻžāϏ:

  • āĻĒāϰāĻŋāĻŽāĻžāĻŖāĻ•āϰāĻŖ āĻĒāĻĻā§āϧāϤāĻŋ 31,36
  • āĻŸā§‹āϕ⧇āύ āĻšā§āϰāĻžāϏ 21,40,41,43,44
  • āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋ 24,37,38,39
  • āĻĒā§āϞāĻžāĻ—-āĻāĻ¨ā§āĻĄ-āĻĒā§āϞ⧇, āĻĒ⧁āύāσāĻĒā§āϰāĻļāĻŋāĻ•ā§āώāϪ⧇āϰ āĻĒā§āϰāϝāĻŧā§‹āϜāύ āύ⧇āχ

āĻŸā§‹āϕ⧇āύ āĻšā§āϰāĻžāϏ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋ

āĨ§. āĻŸā§‹āϕ⧇āύ āĻĒā§āϰ⧁āύāĻŋāĻ‚: āϗ⧁āϰ⧁āĻ¤ā§āĻŦāĻšā§€āύ āĻŸā§‹āϕ⧇āύāϗ⧁āϞāĻŋ āϏāϰāĻžāϏāϰāĻŋ āĻŽā§āϛ⧇ āĻĢ⧇āϞ⧁āύ, āϤāĻĨā§āϝ āĻšāĻžāϰāĻžāύ⧋āϰ āϏāĻŽā§āĻ­āĻžāĻŦāύāĻž āĨ¨. āĻŸā§‹āϕ⧇āύ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚: āϏāĻžāĻĻ⧃āĻļā§āϝāĻĒā§‚āĻ°ā§āĻŖ āĻŸā§‹āϕ⧇āύāϗ⧁āϞāĻŋ āĻāĻ•āĻ¤ā§āϰāĻŋāϤ āĻ•āϰ⧁āύ, āϤāĻĨā§āϝ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖāϤāĻž āĻŦāϜāĻžāϝāĻŧ āϰāĻžāϖ⧁āύ

  • ToMe 21: āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻšāĻžāϰ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇
  • āĻāχ āĻĒ⧇āĻĒāĻžāϰ⧇āϰ CA-ToMe: āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ + āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻŽā§‡āĻ•āĻžāύāĻŋāϜāĻŽ

āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋ

āĻŦāĻŋāĻĻā§āϝāĻŽāĻžāύ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻĒāĻĻā§āϧāϤāĻŋāϗ⧁āϞāĻŋ āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āωāĻĒāĻžāĻĻāĻžāύ⧇āϰ āϜāĻ¨ā§āϝ:

  • āĻ•ā§āϰāϏ-āĻŽāύ⧋āϝ⧋āĻ— āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ 38
  • U-Net āĻāύāϕ⧋āĻĄāĻžāϰ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ 39
  • āωāĻšā§āϚ-āĻ¸ā§āϤāϰ⧇āϰ āĻŦ⧈āĻļāĻŋāĻˇā§āĻŸā§āϝ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ 24

āĻāχ āĻĒ⧇āĻĒāĻžāϰāϟāĻŋ āĻĒā§āϰāĻĨāĻŽāĻŦāĻžāϰ⧇āϰ āĻŽāϤ⧋ āĻŸā§‹āϕ⧇āύ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚āϝāĻŧ⧇āϰ āϏāĻžāĻĻ⧃āĻļā§āϝ āĻ—āĻŖāύāĻžāϝāĻŧ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰ⧇āĨ¤

āωāĻĒāϏāĻ‚āĻšāĻžāϰ āĻāĻŦāĻ‚ āφāϞ⧋āϚāύāĻž

āĻĒā§āϰāϧāĻžāύ āωāĻĒāϏāĻ‚āĻšāĻžāϰ

āĨ§. āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻšāĻžāϰ⧇āϰ āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧāϤāĻž āĻ•āĻžāĻ°ā§āϝāĻ•āϰāĻ­āĻžāĻŦ⧇ āϏāĻŽāĻžāϧāĻžāύ āĻ•āϰ⧇, āϏāĻžāĻĻ⧃āĻļā§āϝ āĻŦāĻŋāϤāϰāϪ⧇āϰ āωāĻĒāϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻ•āϰ⧇ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚ āĻ•ā§ŒāĻļāϞ āĻ—āϤāĻŋāĻļā§€āϞāĻ­āĻžāĻŦ⧇ āϏāĻžāĻŽāĻžā§āϜāĻ¸ā§āϝ āĻ•āϰ⧇ āĨ¨. āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻŽā§‡āĻ•āĻžāύāĻŋāϜāĻŽ āϏāĻŽāϝāĻŧ āϧāĻžāĻĒāϗ⧁āϞāĻŋāϰ āĻŽāĻ§ā§āϝ⧇ āϰāĻŋāĻĄāĻžāĻ¨ā§āĻĄā§‡āĻ¨ā§āϏāĻŋ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇, āĻĒ⧁āύāϰāĻžāĻŦ⧃āĻ¤ā§āϤāĻŋāĻŽā§‚āϞāĻ• āĻ—āĻŖāύāĻž āωāĻ˛ā§āϞ⧇āĻ–āϝ⧋āĻ—ā§āϝāĻ­āĻžāĻŦ⧇ āĻšā§āϰāĻžāϏ āĻ•āϰ⧇ āĨŠ. CA-ToMe āĻĒāĻĻā§āϧāϤāĻŋ āĨ§.āĨ¨āĨĒ āϗ⧁āĻŖ āĻ¤ā§āĻŦāϰāĻŖ āĻ…āĻ°ā§āϜāύ āĻ•āϰ⧇, āĻāĻ•āχ āϏāĻžāĻĨ⧇ āĻ›āĻŦāĻŋāϰ āϗ⧁āĻŖāĻŽāĻžāύ āĻŦāϜāĻžāϝāĻŧ āϰāĻžāϖ⧇ āĻŦāĻž āϏāĻžāĻŽāĻžāĻ¨ā§āϝ āωāĻ¨ā§āύāϤ āĻ•āϰ⧇ āĨĒ. āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŖ-āĻŽā§āĻ•ā§āϤ āĻŦ⧈āĻļāĻŋāĻˇā§āĻŸā§āϝ āĻĒāĻĻā§āϧāϤāĻŋāϟāĻŋ āĻ­āĻžāϞ āĻŦā§āϝāĻŦāĻšāĻžāϰāĻŋāĻ•āϤāĻž āĻāĻŦāĻ‚ āĻ¸ā§āϕ⧇āϞ⧇āĻŦāĻŋāϞāĻŋāϟāĻŋ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇

āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧāϤāĻž

āĨ§. āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āĻĒā§āϝāĻžāϰāĻžāĻŽāĻŋāϟāĻžāϰ āϟāĻŋāωāύāĻŋāĻ‚: āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āĻŽāĻĄā§‡āϞ āĻāĻŦāĻ‚ āĻ•āĻžāĻœā§‡āϰ āϜāĻ¨ā§āϝ āϏāĻ°ā§āĻŦā§‹āĻ¤ā§āϤāĻŽ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āϏāĻžāĻŽāĻžā§āϜāĻ¸ā§āϝ āĻ•āϰāĻžāϰ āĻĒā§āϰāϝāĻŧā§‹āϜāύ āĨ¨. āĻĒā§āϰāϝ⧋āĻœā§āϝāϤāĻžāϰ āĻĒāϰāĻŋāϏ⧀āĻŽāĻž āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧāϤāĻž: āĻĒā§āϰāϧāĻžāύāϤ U-Net āφāĻ°ā§āĻ•āĻŋāĻŸā§‡āĻ•āϚāĻžāϰ⧇āϰ āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞ⧇āϰ āϜāĻ¨ā§āϝ āĨŠ. āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻ“āĻ­āĻžāϰāĻšā§‡āĻĄ: āĻ•ā§āϝāĻžāĻļ āĻ•āϰāĻž āĻŸā§‹āϕ⧇āύ āĻœā§‹āĻĄāĻŧ āϤāĻĨā§āϝ āϏāĻ‚āϰāĻ•ā§āώāϪ⧇āϰ āϜāĻ¨ā§āϝ āĻ…āϤāĻŋāϰāĻŋāĻ•ā§āϤ āĻŽā§‡āĻŽāϰāĻŋ āĻĒā§āϰāϝāĻŧā§‹āϜāύ āĨĒ. āĻ¸ā§āϤāϰ āϏ⧀āĻŽāĻžāĻŦāĻĻā§āϧāϤāĻž: āĻļ⧁āϧ⧁āĻŽāĻžāĻ¤ā§āϰ āĻļā§€āĻ°ā§āώ āĻ¸ā§āϤāϰ⧇ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰāĻž āĻšāϝāĻŧ, āĻ…āĻ¨ā§āϝāĻžāĻ¨ā§āϝ āĻ¸ā§āϤāϰ⧇āϰ āĻ…āĻĒā§āϟāĻŋāĻŽāĻžāχāĻœā§‡āĻļāύ āϏ⧁āϝ⧋āĻ— āĻŽāĻŋāϏ āĻ•āϰāϤ⧇ āĻĒāĻžāϰ⧇

āĻ­āĻŦāĻŋāĻˇā§āϝāϤ āĻĻāĻŋāĻ•āύāĻŋāĻ°ā§āĻĻ⧇āĻļāύāĻž

āĨ§. āĻ¸ā§āĻŦāϝāĻŧāĻ‚āĻ•ā§āϰāĻŋāϝāĻŧ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āĻļāĻŋāĻ•ā§āώāĻž: āϏāĻ°ā§āĻŦā§‹āĻ¤ā§āϤāĻŽ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āĻ¸ā§āĻŦāϝāĻŧāĻ‚āĻ•ā§āϰāĻŋāϝāĻŧāĻ­āĻžāĻŦ⧇ āύāĻŋāĻ°ā§āϧāĻžāϰāϪ⧇āϰ āĻĒāĻĻā§āϧāϤāĻŋ āĻŦāĻŋāĻ•āĻžāĻļ āĻ•āϰ⧁āύ āĨ¨. āĻ…āĻ¨ā§āϝāĻžāĻ¨ā§āϝ āφāĻ°ā§āĻ•āĻŋāĻŸā§‡āĻ•āϚāĻžāϰ⧇ āϏāĻŽā§āĻĒā§āϰāϏāĻžāϰāĻŖ: DiT āĻāϰ āĻŽāϤ⧋ āύāϤ⧁āύ āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞ āφāĻ°ā§āĻ•āĻŋāĻŸā§‡āĻ•āϚāĻžāϰ⧇āϰ āϏāĻžāĻĨ⧇ āĻ–āĻžāĻĒ āĻ–āĻžāχāϝāĻŧ⧇ āύāĻŋāύ āĨŠ. āφāϰāĻ“ āϏ⧂āĻ•ā§āĻˇā§āĻŽ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻ•ā§ŒāĻļāϞ: āĻŦāĻŋāώāϝāĻŧāĻŦāĻ¸ā§āϤ⧁-āĻ…āĻ­āĻŋāϝ⧋āϜāĻŋāϤ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻŽā§‡āĻ•āĻžāύāĻŋāϜāĻŽ āĨĒ. āĻšāĻžāĻ°ā§āĻĄāĻ“āϝāĻŧā§āϝāĻžāϰ āĻ…āĻĒā§āϟāĻŋāĻŽāĻžāχāĻœā§‡āĻļāύ: āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻšāĻžāĻ°ā§āĻĄāĻ“āϝāĻŧā§āϝāĻžāϰ⧇āϰ āϜāĻ¨ā§āϝ āĻ…āĻĒā§āϟāĻŋāĻŽāĻžāχāϜāĻĄ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ

āĻ—āĻ­ā§€āϰ āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ

āϏ⧁āĻŦāĻŋāϧāĻž

āĨ§. āĻļāĻ•ā§āϤāĻŋāĻļāĻžāϞ⧀ āωāĻĻā§āĻ­āĻžāĻŦāύ⧀: āĻŸā§‹āϕ⧇āύ āĻŽāĻžāĻ°ā§āϜāĻŋāĻ‚āϝāĻŧ⧇ āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āϧāĻžāϰāĻŖāĻž āĻĒā§āϰāĻŦāĻ°ā§āϤāύ āĻ•āϰ⧇, āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻŽā§‡āĻ•āĻžāύāĻŋāϜāĻŽā§‡āϰ āϏāĻžāĻĨ⧇ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āϏāĻŽāĻžāϧāĻžāύ āĻ—āĻ āύ āĻ•āϰ⧇ āĨ¨. āωāĻšā§āϚ āĻŦā§āϝāĻŦāĻšāĻžāϰāĻŋāĻ• āĻŽā§‚āĻ˛ā§āϝ: āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŖ-āĻŽā§āĻ•ā§āϤ, āĻĒā§āϞāĻžāĻ—-āĻāĻ¨ā§āĻĄ-āĻĒā§āϞ⧇ āĻŦ⧈āĻļāĻŋāĻˇā§āĻŸā§āϝ āĻ¸ā§āĻĨāĻžāĻĒāύāĻž āϏāĻšāϜ āĻ•āϰ⧇ āĨŠ. āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āĻĒāϰ⧀āĻ•ā§āώāĻž: āĻŦā§āϝāĻžāĻĒāĻ• āĻŦāĻŋāϞ⧋āĻĒāύ āĻĒāϰ⧀āĻ•ā§āώāĻž āĻāĻŦāĻ‚ āĻĒā§āϝāĻžāϰāĻžāĻŽāĻŋāϟāĻžāϰ āĻŦāĻŋāĻļā§āϞ⧇āώāĻŖ āĻĒāĻĻā§āϧāϤāĻŋāϰ āĻ•āĻžāĻ°ā§āϝāĻ•āĻžāϰāĻŋāϤāĻž āϏāĻŽāĻ°ā§āĻĨāύ āĻ•āϰ⧇ āĨĒ. āĻĻ⧃āĻĸāĻŧ āϤāĻžāĻ¤ā§āĻ¤ā§āĻŦāĻŋāĻ• āĻ­āĻŋāĻ¤ā§āϤāĻŋ: āĻœā§āϝāĻžāĻ•āĻžāĻ°ā§āĻĄ āĻĻā§‚āϰāĻ¤ā§āĻŦ-āĻ­āĻŋāĻ¤ā§āϤāĻŋāĻ• āϏāĻžāĻĻ⧃āĻļā§āϝ āĻŦāĻŋāĻļā§āϞ⧇āώāĻŖ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻŽā§‡āĻ•āĻžāύāĻŋāϜāĻŽā§‡āϰ āϜāĻ¨ā§āϝ āϤāĻžāĻ¤ā§āĻ¤ā§āĻŦāĻŋāĻ• āϏāĻŽāĻ°ā§āĻĨāύ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇

āĻ…āĻĒā§‚āĻ°ā§āĻŖāϤāĻž

āĨ§. āĻ…āĻĒāĻ°ā§āϝāĻžāĻĒā§āϤ āϤāĻžāĻ¤ā§āĻ¤ā§āĻŦāĻŋāĻ• āĻŦāĻŋāĻļā§āϞ⧇āώāĻŖ: āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āύāĻŋāĻ°ā§āĻŦāĻžāϚāύ⧇āϰ āϜāĻ¨ā§āϝ āϤāĻžāĻ¤ā§āĻ¤ā§āĻŦāĻŋāĻ• āύāĻŋāĻ°ā§āĻĻ⧇āĻļāύāĻžāϰ āĻ…āĻ­āĻžāĻŦ āĨ¨. āϏ⧀āĻŽāĻŋāϤ āĻĒāϰ⧀āĻ•ā§āώāĻžāĻŽā§‚āϞāĻ• āĻĒāϰāĻŋāϏ⧀āĻŽāĻž: āĻļ⧁āϧ⧁āĻŽāĻžāĻ¤ā§āϰ ImageNet-āĻ āϝāĻžāϚāĻžāχ āĻ•āϰāĻž āĻšāϝāĻŧ⧇āϛ⧇, āĻ…āĻ¨ā§āϝāĻžāĻ¨ā§āϝ āĻĄā§‡āϟāĻžāϏ⧇āϟ āĻāĻŦāĻ‚ āĻ•āĻžāĻœā§‡āϰ āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ⧇āϰ āĻ…āĻ­āĻžāĻŦ āĨŠ. āĻ•āĻŽ āϤ⧁āϞāύāĻžāĻŽā§‚āϞāĻ• āĻĒāĻĻā§āϧāϤāĻŋ: āĻĒā§āϰāϧāĻžāύāϤ ToMe āĻāϰ āϏāĻžāĻĨ⧇ āϤ⧁āϞāύāĻž, āĻ…āĻ¨ā§āϝāĻžāĻ¨ā§āϝ āĻ¤ā§āĻŦāϰāĻŖ āĻĒāĻĻā§āϧāϤāĻŋāϰ āϏāĻžāĻĨ⧇ āϤ⧁āϞāύāĻžāϰ āĻ…āĻ­āĻžāĻŦ āĨĒ. āĻāĻ•āĻ• āϗ⧁āĻŖāĻŽāĻžāύ āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ: āĻĒā§āϰāϧāĻžāύāϤ FID āĻŽā§‡āĻŸā§āϰāĻŋāϕ⧇āϰ āωāĻĒāϰ āύāĻŋāĻ°ā§āĻ­āϰ āĻ•āϰ⧇, āĻŽāĻžāύāĻŦ āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ āĻāĻŦāĻ‚ āĻ…āĻ¨ā§āϝāĻžāĻ¨ā§āϝ āϗ⧁āĻŖāĻŽāĻžāύ āĻŽā§‡āĻŸā§āϰāĻŋāĻ•ā§āϏ⧇āϰ āĻ…āĻ­āĻžāĻŦ

āĻĒā§āϰāĻ­āĻžāĻŦ

āĨ§. āĻļāĻŋāĻ•ā§āώāĻžāĻ—āϤ āĻ…āĻŦāĻĻāĻžāύ: āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞ āĻ¤ā§āĻŦāϰāϪ⧇āϰ āϜāĻ¨ā§āϝ āύāϤ⧁āύ āϚāĻŋāĻ¨ā§āϤāĻžāĻ­āĻžāĻŦāύāĻž āĻāĻŦāĻ‚ āĻĒāĻĻā§āϧāϤāĻŋ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇ āĨ¨. āĻŦā§āϝāĻŦāĻšāĻžāϰāĻŋāĻ• āĻŽā§‚āĻ˛ā§āϝ: āĻŦāĻŋāĻĻā§āϝāĻŽāĻžāύ āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞāϗ⧁āϞāĻŋāϤ⧇ āϏāϰāĻžāϏāϰāĻŋ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰāĻž āϝāĻžāϝāĻŧ, āĻŦāĻŋāĻ¸ā§āϤ⧃āϤ āĻĒā§āϰāϝāĻŧā§‹āϗ⧇āϰ āϏāĻŽā§āĻ­āĻžāĻŦāύāĻž āϰāϝāĻŧ⧇āϛ⧇ āĨŠ. āĻĒ⧁āύāĻ°ā§ā§ŽāĻĒāĻžāĻĻāύāϝ⧋āĻ—ā§āϝāϤāĻž: āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āϕ⧋āĻĄ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇, āĻĒ⧁āύāĻ°ā§ā§ŽāĻĒāĻžāĻĻāύ āĻāĻŦāĻ‚ āϏāĻŽā§āĻĒā§āϰāϏāĻžāϰāĻŖ āϏāĻšāϜāϤāϰ āĻ•āϰ⧇ āĨĒ. āĻ…āύ⧁āĻĒā§āϰ⧇āϰāĻŖāĻžāĻŽā§‚āϞāĻ•: āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻāĻŦāĻ‚ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚āϝāĻŧ⧇āϰ āϧāĻžāϰāĻŖāĻž āφāϰāĻ“ āĻ…āύ⧇āĻ• āϏāĻŽā§āĻĒāĻ°ā§āĻ•āĻŋāϤ āĻ—āĻŦ⧇āώāĻŖāĻžāϕ⧇ āĻ…āύ⧁āĻĒā§āϰāĻžāĻŖāĻŋāϤ āĻ•āϰāϤ⧇ āĻĒāĻžāϰ⧇

āĻĒā§āϰāϝ⧋āĻœā§āϝ āĻĒāϰāĻŋāĻ¸ā§āĻĨāĻŋāϤāĻŋ

āĨ§. āϏāĻŽā§āĻĒāĻĻ-āϏ⧀āĻŽāĻŋāϤ āĻĒāϰāĻŋāĻŦ⧇āĻļ: āĻŽā§‹āĻŦāĻžāχāϞ āĻĄāĻŋāĻ­āĻžāχāϏ, āĻāϜ āĻ•āĻŽā§āĻĒāĻŋāωāϟāĻŋāĻ‚ āχāĻ¤ā§āϝāĻžāĻĻāĻŋ āĻĒāϰāĻŋāĻ¸ā§āĻĨāĻŋāϤāĻŋ āĨ¨. āϰāĻŋāϝāĻŧ⧇āϞ-āϟāĻžāχāĻŽ āĻ…ā§āϝāĻžāĻĒā§āϞāĻŋāϕ⧇āĻļāύ: āĻĻā§āϰ⧁āϤ āĻ›āĻŦāĻŋ āϤ⧈āϰāĻŋāϰ āĻĒā§āϰāϝāĻŧā§‹āϜāύ āĻāĻŽāύ āχāĻ¨ā§āϟāĻžāϰ⧇āĻ•ā§āϟāĻŋāĻ­ āĻ…ā§āϝāĻžāĻĒā§āϞāĻŋāϕ⧇āĻļāύ āĨŠ. āĻŦāĻĄāĻŧ āφāĻ•āĻžāϰ⧇āϰ āĻ¸ā§āĻĨāĻžāĻĒāύāĻž: āϏāĻžāĻ°ā§āĻ­āĻžāϰ āĻ—āĻŖāύāĻž āĻ–āϰāϚ āĻāĻŦāĻ‚ āĻŦāĻŋāϞāĻŽā§āĻŦ āĻšā§āϰāĻžāϏ āĻ•āϰ⧁āύ āĨĒ. āĻ—āĻŦ⧇āώāĻŖāĻž āĻĒā§āϰ⧋āĻŸā§‹āϟāĻžāχāĻĒ: āĻ…āĻ¨ā§āϝāĻžāĻ¨ā§āϝ āĻ¤ā§āĻŦāϰāĻŖ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋāϰ āϜāĻ¨ā§āϝ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āωāĻĒāĻžāĻĻāĻžāύ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧁āύ

āϏāĻ‚āĻĻāĻ°ā§āĻ­

āĻāχ āĻĒ⧇āĻĒāĻžāϰāϟāĻŋ āĨĢāĨĒāϟāĻŋ āϏāĻŽā§āĻĒāĻ°ā§āĻ•āĻŋāϤ āϏāĻ‚āĻĻāĻ°ā§āĻ­ āωāĻĻā§āϧ⧃āϤ āĻ•āϰ⧇, āϝāĻžāϰ āĻŽāĻ§ā§āϝ⧇ āĻĒā§āϰāϧāĻžāύāϤ āϰāϝāĻŧ⧇āϛ⧇:

  • āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞ āĻŽā§ŒāϞāĻŋāĻ• āϤāĻ¤ā§āĻ¤ā§āĻŦ 1,2,3
  • āĻ›āĻŦāĻŋ āϤ⧈āϰāĻŋāϰ āĻ…ā§āϝāĻžāĻĒā§āϞāĻŋāϕ⧇āĻļāύ 4,5,18,19,20
  • āĻ¤ā§āĻŦāϰāĻŖ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋ 24,25,26,27,28
  • āĻŸā§‹āϕ⧇āύ āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻžāĻ•āϰāĻŖ āĻĒāĻĻā§āϧāϤāĻŋ 21,40,41,43,44
  • āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋ 24,37,38,39

āϏāĻžāĻŽāĻ—ā§āϰāĻŋāĻ• āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ: āĻāϟāĻŋ āĻĄāĻŋāĻĢāĻŋāωāĻļāύ āĻŽāĻĄā§‡āϞ āĻ¤ā§āĻŦāϰāĻŖ āĻ•ā§āώ⧇āĻ¤ā§āϰ⧇ āĻŦā§āϝāĻŦāĻšāĻžāϰāĻŋāĻ• āĻŽā§‚āĻ˛ā§āϝ⧇āϰ āĻāĻ•āϟāĻŋ āĻ•āĻžāϜāĨ¤ āĻ…ā§āϝāĻžāĻĄāĻžāĻĒāϟāĻŋāĻ­ āĻĨā§āϰ⧇āĻļāĻšā§‹āĻ˛ā§āĻĄ āĻāĻŦāĻ‚ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻŽā§‡āĻ•āĻžāύāĻŋāϜāĻŽā§‡āϰ āϚāϤ⧁āϰ āϏāĻŽāĻ¨ā§āĻŦāϝāĻŧ⧇āϰ āĻŽāĻžāĻ§ā§āϝāĻŽā§‡, āĻ›āĻŦāĻŋāϰ āϗ⧁āĻŖāĻŽāĻžāύ āĻŦāϜāĻžāϝāĻŧ āϰ⧇āϖ⧇ āωāĻ˛ā§āϞ⧇āĻ–āϝ⧋āĻ—ā§āϝ āĻ—āϤāĻŋ āĻŦ⧃āĻĻā§āϧāĻŋ āĻ…āĻ°ā§āϜāύ āĻ•āϰ⧇āĨ¤ āϝāĻĻāĻŋāĻ“ āϤāĻžāĻ¤ā§āĻ¤ā§āĻŦāĻŋāĻ• āĻŦāĻŋāĻļā§āϞ⧇āώāĻŖ āĻāĻŦāĻ‚ āĻĒāϰ⧀āĻ•ā§āώāĻžāĻŽā§‚āϞāĻ• āĻĒāϰāĻŋāϏ⧀āĻŽāĻžāϝāĻŧ āωāĻ¨ā§āύāϤāĻŋāϰ āĻ…āĻŦāĻ•āĻžāĻļ āϰāϝāĻŧ⧇āϛ⧇, āϤāĻŦ⧇ āĻāϰ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŖ-āĻŽā§āĻ•ā§āϤ āĻŦ⧈āĻļāĻŋāĻˇā§āĻŸā§āϝ āĻāĻŦāĻ‚ āĻ­āĻžāϞ āĻĒāϰ⧀āĻ•ā§āώāĻžāĻŽā§‚āϞāĻ• āĻĢāϞāĻžāĻĢāϞ āĻāϟāĻŋāϕ⧇ āωāĻšā§āϚ āĻŦā§āϝāĻŦāĻšāĻžāϰāĻŋāĻ• āĻŽā§‚āĻ˛ā§āϝ āĻāĻŦāĻ‚ āĻĒā§āϰāĻ­āĻžāĻŦ āĻĒā§āϰāĻĻāĻžāύ āĻ•āϰ⧇āĨ¤