Préparation d'Architectures Informatiques Inspirées par les Fractales pour l'Analyse Avancée des Grands Modèles de Langage

Informations de Base

• ID de l'article : 2511.07329
• Titre : Preparation of Fractal-Inspired Computational Architectures for Advanced Large Language Model Analysis
• Auteurs : Yash Mittal, Dmitry Ignatov, Radu Timofte
• Institution : Computer Vision Lab, CAIDAS, Université de Würzburg, Allemagne
• Classification : cs.LG (Apprentissage Automatique), cs.CV (Vision par Ordinateur)
• Date de Publication : 2025
• Lien de l'article : https://arxiv.org/abs/2511.07329

Résumé

Cet article présente FractalNet, une architecture informatique inspirée par les fractales, conçue pour explorer efficacement la diversité des modèles de réseaux de neurones à grande échelle. Le système comprend un générateur piloté par modèles, un exécuteur et un cadre d'évaluation qui, en arrangeant systématiquement les couches de convolution, les couches de normalisation, les fonctions d'activation et les couches de dropout, peut créer plus de 1 200 variantes de réseaux de neurones. Les modèles fractals supportent la récursion structurelle et les chemins multi-colonnes, permettant aux modèles d'approfondir et d'élargir de manière équilibrée. L'entraînement utilise PyTorch, la précision mixte automatique (AMP) et les techniques de points de contrôle de gradient, effectué sur l'ensemble de données CIFAR-10 pendant 5 epochs. Les résultats expérimentaux démontrent que les architectures basées sur les fractales peuvent atteindre des performances robustes et une efficacité informatique, positionnant la conception fractale comme une méthode viable et économe en ressources pour l'exploration automatisée d'architectures.

Contexte de Recherche et Motivation

1. Problème Fondamental à Résoudre

Les percées en apprentissage profond dépendent largement de l'innovation dans la conception d'architectures réseau, mais le processus de conception manuelle d'architectures est extrêmement lent et consomme d'énormes ressources informatiques. Les méthodes existantes de génération automatisée d'architectures de neurones (telles que NAS et AutoML), bien qu'elles possèdent de bonnes capacités d'optimisation, présentent généralement les problèmes suivants :

• Coûts informatiques extrêmement élevés
• Faible interprétabilité
• Difficultés de déploiement sur matériel aux ressources limitées

2. Importance du Problème

Avec l'augmentation de la complexité des modèles d'apprentissage profond, l'exploration manuelle de l'espace des architectures devient impraticable. La recherche automatisée d'architectures est importante pour :

• Accélérer le cycle de développement des modèles
• Découvrir des architectures innovantes que les concepteurs humains pourraient négliger
• Réaliser une conception efficace de modèles dans des environnements aux ressources limitées

3. Limitations des Méthodes Existantes

• Méthodes NAS et AutoML : Bien qu'elles puissent optimiser la topologie réseau, elles présentent des coûts informatiques élevés et une interprétabilité limitée
• Pipelines AutoML assistés par LLM : Dépendent du raisonnement textuel plutôt que de la récursion structurée, limitant la systématicité de l'exploration architecturale
• Conception d'architectures traditionnelles : Manquent d'automatisation et de scalabilité

4. Motivation de la Recherche

FractalNet exploite l'auto-similarité des fractales et les concepts de récursion hiérarchique, offrant une méthode de génération d'architectures interprétable, informatiquement efficace et scalable, comblant le fossé entre l'efficacité et l'interprétabilité des méthodes existantes.

Contributions Fondamentales

1. Proposition du cadre FractalNet : Un système complet de génération automatisée d'architectures de neurones piloté par modèles et d'évaluation, capable de générer systématiquement plus de 1 200 variantes de réseaux
2. Principes de Conception Fractale : Introduction de structures récursives fractales et de chemins multi-colonnes dans la conception d'architectures de neurones, réalisant une expansion équilibrée de la profondeur et de la largeur
3. Stratégies d'Entraînement Efficaces : Intégration de la précision mixte automatique (AMP) et des techniques de points de contrôle de gradient, permettant l'exploration à grande échelle d'architectures avec des ressources matérielles limitées
4. Cadre d'Évaluation Systématisé : Établissement d'un processus standardisé de génération-entraînement-évaluation, permettant des expériences d'architectures reproductibles et à grande échelle
5. Validation Empirique : Vérification de l'efficacité du cadre sur l'ensemble de données CIFAR-10, avec le meilleur modèle montrant une amélioration de 8 points de pourcentage par rapport à la ligne de base (de 72,2 % à 80,18 %)
6. Intégration LLM : Intégration du grand modèle de langage (DeepSeek-R1-Distill-Qwen-7B) dans le processus de génération d'architectures, réalisant une conception automatisée intelligente

Explication Détaillée de la Méthode

Définition de la Tâche

Entrée : Paramètres de configuration d'architecture (profondeur fractale N, largeur de colonne num_columns, combinaisons de types de couches) Sortie : Architecture de réseau de neurones complète et entraînable avec ses métriques de performance Contraintes : Générer et évaluer un grand nombre de variantes d'architectures dans les limites de la mémoire GPU et du temps de calcul

Architecture du Modèle

Le cadre FractalNet comprend trois composants fondamentaux :

1. Générateur (Generator)

• Localisation : ab/gpt/brute/fract/AlterNNFN.py
• Fonction : Génération automatique d'architectures candidates
• Mécanisme :
  • Arrangement systématique des configurations de blocs de convolution
  • Dimensions de variation : profondeur, type de normalisation, fonction d'activation, taux de dropout
  • Génération de code Python via modèles paramétrés

2. Modèle (Template)

• Localisation : ab/gpt/brute/fract/fractal_template.py
• Fonction : Définition des motifs de conception fondamentaux de la structure fractale
• Caractéristiques :
  • Récursivité : Structure auto-similaire à différentes échelles
  • Configuration Multi-Colonnes : Support de chemins parallèles d'extraction de caractéristiques
  • Combinaison de Couches : Couche de convolution + Normalisation par lot + Fonction d'activation + Dropout
  • Configurabilité : Support des variations structurelles à différents niveaux de granularité

3. Exécuteur (Runner)

• Localisation : ab/gpt/brute/fract/NNAlterFractalNet.py
• Fonction : Gestion de l'ensemble du processus d'entraînement et d'évaluation
• Responsabilités :
  • Chargement et prétraitement des données
  • Gestion de la configuration
  • Enregistrement des performances
  • Comparaison de modèles et sauvegarde des points de contrôle

4. Module d'Intégration LLM

• Configuration : conf/llm - Modèle DeepSeek-R1-Distill-Qwen-7B
• Invites : conf/prompt - Initialisation des invites
• Évaluation : ab/gpt/NNEval.py - Scripts d'entraînement et d'évaluation

5. Stockage des Résultats

• Répertoire : new_lemur/ - Sauvegarde de tous les modèles et données statistiques
• Convention de Nommage : img-classification_cifar-10_acc_FractalNet-[configuration]

Points d'Innovation Technique

1. Structure Récursive Fractale

Contrairement aux connexions linéaires ou résiduelles traditionnelles, FractalNet adopte un motif de récursion fractale :

• Auto-Similarité : Les sous-structures se répètent à différents niveaux
• Réutilisation de Caractéristiques : Agrégation efficace de caractéristiques via des chemins récursifs
• Optimisation du Flux de Gradient : La conception multi-chemins améliore la propagation du gradient

2. Génération Pilotée par Modèles

Contrairement à l'échantillonnage de l'espace de recherche de NAS, FractalNet utilise une approche pilotée par modèles :

• Exploration Systématisée : Couverture de l'espace d'architecture via des modèles paramétrés
• Interprétabilité : Chaque architecture générée possède une logique structurelle claire
• Reproductibilité : Les mêmes paramètres produisent la même architecture

3. Optimisation d'Entraînement Efficace

• Précision Mixte Automatique (AMP) : Réduction de l'occupation mémoire et du temps d'entraînement
• Points de Contrôle de Gradient : Compromis entre mémoire et calcul, supportant des réseaux plus profonds
• Entraînement à Cycle Court : 5 epochs pour évaluation rapide, adapté à l'exploration à grande échelle

4. Automatisation Hybride

Combinaison des capacités de raisonnement textuel des LLM et de la conception structurée des fractales :

• Sélection de paramètres et stratégies d'optimisation assistées par LLM
• Les modèles fractals garantissent la rationalité structurelle
• Processus automatisé de bout en bout

Flux de Travail

Début → Générateur produit configurations d'architecture 
    → Modèle applique principes de conception fractale 
    → Exécuteur effectue entraînement et validation 
    → Enregistrement des performances et sauvegarde des modèles 
    → Analyse et comparaison des résultats → Fin

L'ensemble du processus forme une boucle automatisée étroitement intégrée, minimisant l'intervention humaine.

Configuration Expérimentale

Ensemble de Données

Ensemble de Données CIFAR-10 :

• Échelle : 60 000 images RGB de 32×32 pixels
• Catégories : 10 classes (avion, automobile, oiseau, chat, cerf, chien, grenouille, cheval, navire, camion)
• Division :
  • Ensemble d'entraînement : 50 000 images
  • Ensemble de test : 10 000 images
• Justification du Choix :
  • Distribution de données équilibrée
  • Référence standard
  • Évaluation efficace de la capacité de généralisation et de scalabilité

Métriques d'Évaluation

1. Précision de Validation : Métrique de performance principale
2. Perte d'Entraînement : Surveillance du comportement de convergence
3. Consommation de Mémoire GPU : Évaluation de l'efficacité des ressources
4. Temps d'Entraînement : Temps moyen par epoch
5. Taux de Réussite d'Entraînement : Proportion de modèles ayant complété l'entraînement

Méthodes de Comparaison

1. CNN de Base : Réseau de neurones convolutif standard
2. Modèles Générés par NAS : Représentation des méthodes de recherche d'architectures de neurones
3. Réseaux Simples : Réseaux ordinaires de différentes profondeurs (5, 10, 20, 40 couches)
4. Ligne de Base FractalNet : Version initiale (précision de validation 72,2 %)

Détails d'Implémentation

Configuration d'Entraînement

Stratégies d'Optimisation

• Optimiseur : Descente de Gradient Stochastique (SGD)
• Précision Mixte Automatique (AMP) : Activée
• Points de Contrôle de Gradient : Activés
• Framework : PyTorch

Protocole d'Évaluation

1. Validation de Modèle : Importation et instanciation automatiques des architectures générées
2. Entraînement et Points de Contrôle : Optimisation avec SGD, AMP et points de contrôle de gradient activés
3. Enregistrement des Performances : Enregistrement de la précision de validation, perte, mémoire GPU et temps d'entraînement pour chaque epoch

Résultats Expérimentaux

Résultats Principaux

Statistiques de Performance Globales (Tableau 2) :

Découvertes Clés :

1. Amélioration Significative : La meilleure configuration atteint 80,18 %, une amélioration de 8 points de pourcentage par rapport à la ligne de base de 72,2 %
2. Convergence Stable : 97 % des modèles complètent avec succès l'entraînement
3. Efficacité des Ressources : Consommation moyenne de mémoire GPU de seulement 4-5 GB
4. Entraînement Rapide : Environ 5 minutes par epoch

Analyse de Configuration d'Architecture

Configuration Optimale :

• Profondeur Fractale (N) : 3-4 couches
• Largeur de Colonne (num_columns) : 3-4 colonnes
• Caractéristiques : Les configurations de profondeur et largeur modérées obtiennent continuellement les scores les plus élevés

Régularités de Performance :

• La conception de structure récursive supporte la réutilisation efficace de caractéristiques
• Propagation stable du gradient
• L'équilibre entre profondeur et largeur est crucial

Analyse du Comportement de Convergence

Distribution de Précision de Validation Affichée en Figure 3 :

• 1er Epoch : Affiche la tendance de convergence en phase initiale
• 5e Epoch : Affiche la performance stable finale
• Observations :
  • La plupart des modèles affichent une bonne dynamique d'apprentissage en phase précoce
  • L'amélioration continue de la précision indique une efficacité d'apprentissage élevée
  • Les architectures générées automatiquement démontrent une stabilité

Comparaison des Pertes d'Entraînement

Découvertes Clés de la Figure 4 (FractalNet vs Réseaux Simples) :

1. Baisse Plus Stable : FractalNet affiche une baisse de perte d'entraînement plus cohérente
2. Convergence Plus Rapide : Atteint une perte plus basse en phase d'entraînement précoce
3. Effet d'Intégration : Le FractalNet complet (courbe violette) surpasse ses colonnes individuelles
4. Avantage d'Optimisation : Les connexions fractales favorisent la réutilisation de caractéristiques et le flux de gradient

Expériences d'Ablation

Bien que l'article ne présente pas de section d'ablation explicite, l'exploration systématique de 1 200 variantes effectue implicitement une ablation à grande échelle :

Impact de la Profondeur :

• N=3-4 : Performance optimale
• N≥5 : Épuisement de mémoire et instabilité du gradient

Impact de la Largeur :

• num_columns=3-4 : Meilleur équilibre
• num_columns≥7 : Consommation de ressources excessive

Impact de l'Ordre des Couches :

• Différents arrangements de couches produisent des performances différentes
• Certaines séquences de couches incompatibles entraînent un apprentissage échoué (précision ≈ 0,1)

Découvertes Expérimentales

1. Valeur de la Diversité Architecturale : L'exploration de 1 200 variantes a découvert des configurations supérieures à la conception manuelle
2. Avantages de la Conception Fractale :
   • Les chemins récursifs favorisent l'agrégation de caractéristiques
   • La structure multi-colonnes améliore la robustesse
   • L'auto-similarité supporte la scalabilité
3. Équilibre entre Efficacité et Performance : Les configurations de complexité modérée atteignent le meilleur équilibre entre performance et consommation de ressources
4. Faisabilité de l'Automatisation : Un taux de réussite de 97 % prouve la stabilité de la méthode pilotée par modèles
5. Efficacité de l'Évaluation Rapide : 5 epochs suffisent pour différencier le potentiel des différentes architectures

Travaux Connexes

1. Recherche d'Architectures de Neurones (NAS)

Travaux Représentatifs :

• DARTS : Recherche d'architectures différentiable
• ENAS : Recherche efficace d'architectures de neurones

Caractéristiques :

• Optimisation de la topologie réseau
• Coûts informatiques élevés
• Interprétabilité limitée

Améliorations de Cet Article : Utilisation de modèles fractals pour réduire les coûts informatiques et améliorer l'interprétabilité

2. AutoML Assisté par LLM

Recherches Connexes (Goodarzi et al., Kochnev et al.) :

• Utilisation de modèles de langage pour l'optimisation d'hyperparamètres
• Exploration d'architectures pilotée par LLM
• Amélioration du degré d'automatisation

Limitations : Dépendance au raisonnement textuel plutôt qu'à la récursion structurée

Contribution de Cet Article : Combinaison des capacités de raisonnement des LLM avec la conception structurée des fractales

3. Architectures Fractales

FractalNet Original (Larsson et al., 2017) :

• Introduction du concept de conception fractale
• Réseaux ultra-profonds sans connexions résiduelles
• Auto-similarité et récursion hiérarchique

Extensions de Cet Article :

• Cadre de génération automatisée
• Exploration à grande échelle de variantes
• Intégration avec LLM

4. Apprentissage Automatique Automatisé

Cadres AutoML :

• Sélection automatisée de modèles et optimisation d'hyperparamètres
• Nécessitent généralement d'énormes ressources informatiques

Différences de Cet Article :

• Accent sur la diversité architecturale
• Utilisation de modèles fractals pour garantir la rationalité structurelle
• Efficacité informatique supérieure

Conclusion et Discussion

Conclusions Principales

1. Efficacité du Cadre : FractalNet a généré et entraîné avec succès plus de 1 200 modèles convolutifs uniques, prouvant la faisabilité du pipeline de synthèse piloté par modèles
2. Amélioration de Performance : La meilleure configuration atteint 80,18 % de précision de validation sur CIFAR-10, une amélioration de 8 points de pourcentage par rapport à la ligne de base
3. Efficacité Informatique : Grâce aux techniques AMP et de points de contrôle de gradient, l'exploration à grande échelle d'architectures est réalisée sur matériel limité
4. Convergence Stable : 97 % des modèles complètent avec succès l'entraînement, avec une précision de validation moyenne dépassant 83 %
5. Principes de Conception : La structure récursive fractale favorise l'apprentissage rapide et la généralisation, les configurations de profondeur et largeur modérées atteignant les meilleures performances

Limitations

L'article identifie explicitement les restrictions suivantes :

1. Contraintes de Profondeur et Largeur

• Problème : Les configurations extrêmes (N≥5, num_columns≥7) s'interrompent généralement en raison de l'épuisement de mémoire et de l'instabilité du gradient
• Impact : Limite l'espace d'architecture explorable

2. Anomalies de Précision

• Problème : Certains modèles affichent un apprentissage minimal (précision ≈ 0,1)
• Cause : Peut être due à une initialisation erronée ou à des séquences de couches incompatibles
• Proportion : Taux d'échec d'environ 3 %

3. Limitation du Cycle d'Entraînement

• Problème : Chaque modèle n'est entraîné que pendant 5 epochs
• Impact : Impossible d'observer le comportement de convergence à long terme
• Compromis : Sacrifice de la profondeur d'entraînement pour l'exploration à grande échelle

4. Ensemble de Données Unique

• Problème : Évaluation uniquement sur CIFAR-10
• Impact : La capacité de généralisation n'est pas vérifiée sur des ensembles de données plus complexes

5. Limitation des Types d'Architecture

• Problème : Accent principal sur les réseaux convolutifs
• Impact : L'applicabilité à d'autres types d'architectures (comme Transformer) est inconnue

Directions Futures

Directions d'extension proposées par l'article :

1. Ensembles de Données Plus Grands :
   • Vérification sur des ensembles de données volumineux comme ImageNet
   • Évaluation de la performance sur des tâches plus complexes
2. Génération par Apprentissage par Renforcement :
   • Introduction de stratégies d'apprentissage adaptatives
   • Optimisation du processus de génération basée sur les retours de performance
3. Intégration dans l'Écosystème LEMUR :
   • Benchmarking dans l'écosystème de réseaux de neurones LEMUR
   • Extension aux tâches de reconnaissance d'images et d'IA multimodale
4. Cycles d'Entraînement Plus Longs :
   • Étude approfondie du comportement de convergence à long terme
   • Optimisation des stratégies d'entraînement
5. Extension des Types d'Architecture :
   • Application de la conception fractale à Transformer
   • Exploration d'architectures hybrides

Évaluation Approfondie

Points Forts

1. Innovativité de la Méthode

• Combinaison de Fractales et d'Automatisation : Application innovante des principes de conception fractale à la génération automatisée d'architectures
• Méthode Pilotée par Modèles : Offre une exploration plus systématique et interprétable que la recherche aléatoire
• Intégration LLM : Approche prospective intégrant les grands modèles de langage dans le processus de conception d'architectures

2. Suffisance Expérimentale

• Vérification à Grande Échelle : 1 200 variantes fournissent des preuves empiriques suffisantes
• Évaluation Systématisée : Les protocoles d'évaluation standardisés garantissent une comparaison équitable
• Analyse Multidimensionnelle : Évaluation sous plusieurs angles : précision, convergence, consommation de ressources

3. Valeur de la Pratique Ingénierie

• Implémentation Efficace : L'application des techniques AMP et de points de contrôle de gradient démontre les capacités d'optimisation ingénierie
• Reproductibilité : Les configurations détaillées et les conventions de nommage standardisées facilitent la reproduction
• Praticité : Réalisation de l'exploration à grande échelle avec des ressources limitées, possédant une valeur d'application pratique

4. Clarté de la Rédaction

• Diagrammes de Flux Intuitifs : La Figure 1 présente clairement l'architecture du système
• Visualisation des Résultats : Les Figures 3 et 4 communiquent efficacement les découvertes expérimentales
• Structure Logique : Organisation claire et facile à comprendre

Insuffisances

1. Limitations de la Méthode

• Espace d'Architecture Limité : Exploration uniquement des réseaux convolutifs, sans Transformer ou architectures modernes
• Limitation de Profondeur : Incapacité à traiter efficacement les réseaux très profonds (N≥5)
• Dépendance aux Modèles Manuels : Bien qu'automatisée, nécessite toujours une conception manuelle de modèles fractals

2. Défauts de Conception Expérimentale

• Entraînement Insuffisant : 5 epochs peuvent être insuffisants pour évaluer complètement le potentiel des modèles
• Ensemble de Données Unique : Vérification uniquement sur CIFAR-10, généralisation douteuse
• Absence de Tests Statistiques : Pas de rapports de variance, intervalles de confiance, etc.
• Comparaison Insuffisante : Manque de valeurs numériques spécifiques dans la comparaison avec les méthodes NAS

3. Profondeur d'Analyse Insuffisante

• Analyse des Cas d'Échec : Analyse insuffisante des 3 % de modèles défaillants
• Absence d'Explication Théorique : Manque d'analyse théorique expliquant pourquoi la conception fractale est efficace
• Sensibilité aux Hyperparamètres : Pas d'étude systématique de l'impact du taux d'apprentissage, taille de lot, etc.
• Analyse des Coûts Informatiques : Pas de comparaison détaillée des coûts informatiques totaux avec NAS

4. Inadéquation entre Titre et Contenu

• Problème de Titre : Mention de "Advanced Large Language Model Analysis", mais les LLM ne sont utilisés que pour l'assistance à la génération, pas comme objet d'analyse principal
• Positionnement Flou : Le cœur de l'article est la recherche d'architectures de réseaux convolutifs, avec peu de relation avec l'analyse LLM

5. Détails Techniques Manquants

• Détails du Modèle Fractal : Pas de définition mathématique détaillée du modèle fractal
• Mécanisme d'Intégration LLM : Les détails de la participation des LLM à la génération d'architectures ne sont pas clairs
• Mécanisme de Gestion des Échecs : Comment traiter les modèles dont l'entraînement a échoué n'est pas spécifié

Évaluation de l'Impact

1. Contribution au Domaine

• Innovativité Modérée : Combinaison de la conception fractale existante avec la génération automatisée, mais pas une percée fondamentale
• Contribution Méthodologique : Fournit un paradigme viable d'exploration d'architectures pilotée par modèles
• Valeur Empirique : L'expérience avec 1 200 variantes fournit des données précieuses

2. Valeur Pratique

• Efficacité des Ressources Élevée : Adapté aux environnements de recherche aux ressources limitées
• Bonne Scalabilité : La conception du cadre supporte l'extension à d'autres tâches
• Convivialité Ingénierie : Les processus standardisés facilitent l'application pratique

3. Reproductibilité

• Points Forts :
  • Paramètres détaillés
  • Conventions de nommage standardisées
  • Architecture système claire
• Insuffisances :
  • Code non publié (seul le référentiel GitHub est mentionné sans lien)
  • Certains détails d'implémentation manquent

4. Limitations

• Portée d'Application Étroite : Principalement applicable aux réseaux convolutifs et à la classification d'images à petite échelle
• Fondation Théorique Faible : Manque de garanties théoriques et d'analyse
• Degré d'Innovation Limité : Principalement une implémentation ingénierie plutôt qu'une innovation algorithmique

Scénarios d'Application

Scénarios d'Application Appropriés

1. Environnements aux Ressources Limitées : Besoin d'exploration d'architectures avec ressources GPU limitées
2. Développement Rapide de Prototypes : Besoin de générer et évaluer rapidement plusieurs variantes d'architectures
3. Éducation et Recherche : Compréhension des principes de conception d'architectures et des méthodes d'automatisation
4. Classification d'Images à Petite Échelle : Tâches similaires à CIFAR-10

Scénarios Non Appropriés

1. Ensembles de Données Volumineux : Tâches comme ImageNet nécessitant un entraînement prolongé
2. Architectures Non-Convolutives : Transformer, GNN et autres types d'architectures
3. Besoin de Performance SOTA : La précision maximale actuelle de 90 % est insuffisante pour la compétition
4. Environnement de Production : La stabilité et la fiabilité nécessitent une vérification supplémentaire

Évaluation Globale

Note : 6,5/10

Justification :

• L'article propose un cadre d'exploration d'architectures réalisable en ingénierie, avec certaines contributions en efficacité des ressources et exploration systématisée
• L'expérience à grande échelle avec 1 200 variantes fournit des données empiriques précieuses
• Cependant, l'innovativité de la méthode est limitée, principalement une application combinée de techniques existantes
• La profondeur expérimentale est insuffisante, avec entraînement à court terme sur un seul ensemble de données
• Le titre et le contenu ne correspondent pas complètement, risquant de tromper les lecteurs
• Manque d'analyse théorique et d'étude approfondie des cas d'échec

Lecteurs Recommandés :

• Chercheurs intéressés par la recherche automatisée d'architectures
• Étudiants ayant besoin de mener des expériences dans des environnements aux ressources limitées
• Lecteurs souhaitant comprendre l'application de la conception fractale dans les réseaux de neurones

Références

Références clés citées dans l'article :

1. Kochnev et al. (2025) : "NNGPT: Rethinking AutoML with Large Language Models" - Travaux connexes sur AutoML assisté par LLM
2. Goodarzi et al. (2025) : "LEMUR Neural Network Dataset: Towards Seamless AutoML" - Ensemble de données LEMUR et écosystème
3. Larsson et al. (2017) : "FractalNet: Ultra-Deep Neural Networks without Residuals" - Conception de réseau fractal original
4. Krizhevsky et al. (2012) : "ImageNet classification with deep convolutional neural networks" - AlexNet, fondements de l'apprentissage profond
5. Huang et al. (2017) : "Densely connected convolutional networks" - DenseNet, conception d'architectures connexes
6. Kaggle CIFAR-10 : Source d'ensemble de données et tests de référence

Résumé : FractalNet fournit une méthode pratique d'exploration automatisée d'architectures, particulièrement adaptée aux environnements de recherche aux ressources limitées. Bien que l'innovativité de la méthode soit limitée, l'implémentation ingénierie est complète et l'expérience à grande échelle fournit des preuves empiriques précieuses. La valeur principale de l'article réside dans la démonstration de la faisabilité de la combinaison de la conception fractale et de la génération automatisée, fournissant une base de cadre extensible pour les recherches futures.