TReCiM: Lower Power and Temperature-Resilient Multibit 2FeFET-1T Compute-in-Memory Design
Zhou, Kämpfe, Ni et al.
Compute-in-memory (CiM) emerges as a promising solution to solve hardware challenges in artificial intelligence (AI) and the Internet of Things (IoT), particularly addressing the "memory wall" issue. By utilizing nonvolatile memory (NVM) devices in a crossbar structure, CiM efficiently accelerates multiply-accumulate (MAC) computations, the crucial operations in neural networks and other AI models. Among various NVM devices, Ferroelectric FET (FeFET) is particularly appealing for ultra-low-power CiM arrays due to its CMOS compatibility, voltage-driven write/read mechanisms and high ION/IOFF ratio. Moreover, subthreshold-operated FeFETs, which operate at scaling voltages in the subthreshold region, can further minimize the power consumption of CiM array. However, subthreshold-FeFETs are susceptible to temperature drift, resulting in computation accuracy degradation. Existing solutions exhibit weak temperature resilience at larger array size and only support 1-bit. In this paper, we propose TReCiM, an ultra-low-power temperature-resilient multibit 2FeFET-1T CiM design that reliably performs MAC operations in the subthreshold-FeFET region with temperature ranging from 0 to 85 degrees Celcius at scale. We benchmark our design using NeuroSim framework in the context of VGG-8 neural network architecture running the CIFAR-10 dataset. Benchmarking results suggest that when considering temperature drift impact, our proposed TReCiM array achieves 91.31% accuracy, with 1.86% accuracy improvement compared to existing 1-bit 2T-1FeFET CiM array. Furthermore, our proposed design achieves 48.03 TOPS/W energy efficiency at system level, comparable to existing designs with smaller technology feature sizes.
academic
TReCiM : Conception de Calcul-en-Mémoire Multibit 2FeFET-1T Résiliente à la Température et à Faible Puissance
Le calcul-en-mémoire (CiM) représente une solution prometteuse pour résoudre les défis matériels de l'intelligence artificielle et de l'Internet des objets, en particulier le problème du « mur mémoire ». En utilisant des dispositifs de mémoire non-volatile (NVM) dans des structures de matrices croisées, le CiM peut accélérer efficacement les opérations critiques des réseaux de neurones — les opérations de multiplication-accumulation (MAC). Parmi les différents dispositifs NVM, les transistors à effet de champ ferroélectriques (FeFET) sont particulièrement adaptés aux matrices CiM ultra-basse consommation en raison de leur compatibilité CMOS, de leurs mécanismes d'écriture/lecture commandés en tension et de leur excellent rapport ION/IOFF. L'exploitation de la région de fonctionnement sous-seuil des FeFET permet de minimiser davantage la consommation d'énergie, mais elle rend le système sensible aux dérives de température, ce qui dégrade la précision du calcul. Cet article propose TReCiM, une conception CiM multibit 2FeFET-1T ultra-basse consommation et résiliente à la température, capable d'exécuter de manière fiable les opérations MAC dans une plage de température de 0°C à 85°C. Les tests de référence utilisant le cadre NeuroSim sur le réseau de neurones VGG-8 et l'ensemble de données CIFAR-10 montrent que, en tenant compte des effets de dérive thermique, la matrice TReCiM atteint une précision de 91,31 %, soit une amélioration de 1,86 % par rapport aux matrices CiM 1-bit 2T-1FeFET existantes. De plus, cette conception atteint une efficacité énergétique de 48,03 TOPS/W au niveau du système, ce qui est comparable aux conceptions existantes utilisant des nœuds technologiques plus petits.
Problème du mur mémoire : L'architecture de von Neumann traditionnelle fait face à des goulots d'étranglement de performance et à une consommation d'énergie élevée en raison des transferts de données fréquents entre les unités de traitement et les unités de stockage
Besoins de l'IA embarquée : Les applications d'IA et d'IoT nécessitent un grand nombre d'opérations MAC avec des exigences extrêmement élevées en matière d'efficacité énergétique
Limitations des conceptions CiM existantes : Bien que la technologie CiM puisse résoudre le problème du mur mémoire, les conceptions existantes présentent des lacunes en matière de résilience thermique et de stockage multibit
Avantages des FeFET : Les FeFET possèdent des avantages tels que la compatibilité CMOS, les fuites faibles, un excellent rapport ION/IOFF, ce qui les rend adaptés aux applications ultra-basse consommation
Fonctionnement sous-seuil : L'exploitation de la région sous-seuil peut réduire considérablement la consommation d'énergie, mais augmente la sensibilité à la température
Limitations des solutions existantes :
Les conceptions résilientes à la température existantes ne fonctionnent pas bien à grande échelle de matrice
Elles ne supportent que le stockage 1-bit, ce qui limite la densité de stockage
Les conceptions 2T-1FeFET nécessitent un temps de décharge supplémentaire, augmentant la latence
Architecture TReCiM proposée : Première conception CiM multibit 2FeFET-1T résiliente à la température, supportant une plage de température de 0°C à 85°C
Structure d'écrêtage 2FeFET innovante : Utilisation des caractéristiques de température absolue complémentaire (CTAT) pour la compensation thermique
Capacité de stockage multibit : Exploitation des caractéristiques de cellules multi-niveaux (MLC) des FeFET pour le stockage 2-bit et supérieur
Vérification au niveau du système : Évaluation complète au niveau du système et tests de référence basés sur le cadre NeuroSim
Amélioration des performances : Amélioration de 3 fois en matière de résilience thermique par rapport aux solutions existantes, avec une efficacité énergétique de 48,03 TOPS/W
Concevoir une matrice CiM multibit ultra-basse consommation capable de fonctionner de manière stable dans une large plage de température (0°C-85°C), supportant les opérations MAC des réseaux de neurones, tout en maintenant une haute précision et une efficacité énergétique.
Lorsque l'état de stockage est '1' :
- M1 et M2 forment un diviseur de tension
- La tension du nœud intermédiaire VS est stabilisée et écrêtée
- Réduction significative de l'impact de la dérive thermique
L'article cite 42 références connexes, couvrant la technologie CiM, les dispositifs FeFET, les effets thermiques, les accélérateurs de réseaux de neurones et d'autres domaines, fournissant une base théorique solide pour la recherche. Les références clés incluent le cadre NeuroSim, la modélisation des FeFET et les travaux de conception CiM connexes.
Évaluation Globale : Cet article est un travail technique de haute qualité qui apporte des contributions importantes à la conception CiM résiliente à la température. La ligne technique est claire, la vérification expérimentale est complète, et elle a une importance significative pour promouvoir l'application des FeFET dans les accélérateurs d'IA. Bien qu'il y ait encore des domaines d'amélioration, dans l'ensemble, il représente un progrès important dans ce domaine.