Exact deflation for accurate SVD computation of nonnegative bidiagonal products of arbitrary rank
Huang, Xue
Dealing with zero singular values can be quite challenging, as they have the potential to cause numerous numerical difficulties. This paper presents a method for computing the singular value decomposition (SVD) of a nonnegative bidiagonal product of arbitrary rank, regardless of whether the factors are of full rank or rank-deficient, square or rectangular. A key feature of our method is its ability to exactly deflate all zero singular values with a favorable complexity, irrespective of rank deficiency and ill conditioning. Furthermore, it ensures the computation of nonzero singular values, no matter how small they may be, with high relative accuracy. Additionally, our method is well-suited for accurately computing the SVDs of arbitrary submatrices, leveraging an approach to extract their representations from the original product. We have conducted error analysis and numerical experiments to validate the claimed high relative accuracy.
academic
Déflation exacte pour le calcul précis de la décomposition en valeurs singulières de produits bidiagonaux non-négatifs de rang arbitraire
Le traitement des valeurs singulières nulles en calcul numérique présente des défis considérables, car elles peuvent entraîner de nombreuses difficultés numériques. Cet article propose une méthode pour calculer la décomposition en valeurs singulières (SVD) de produits de matrices bidiagonales non-négatives de rang arbitraire, que les matrices facteurs soient de rang plein ou de rang déficient, carrées ou rectangulaires. La caractéristique clé de la méthode est sa capacité à éliminer exactement toutes les valeurs singulières nulles avec une bonne complexité, sans être affectée par le défaut de rang et le mauvais conditionnement. De plus, elle garantit une haute précision relative lors du calcul des valeurs singulières non-nulles, indépendamment de la petitesse de ces valeurs. La méthode s'applique également au calcul précis de la SVD de toute sous-matrice arbitraire, en utilisant une méthode d'extraction de sa représentation à partir du produit original.
Problème fondamental: Le calcul de la décomposition en valeurs singulières de produits ou quotients de matrices est crucial dans les réalisations statistiques, la théorie du contrôle, l'analyse de corrélation canonique et la séparation de sources
Défis techniques:
Les algorithmes existants, bien que rétroactivement stables et capables de calculer la SVD avec une haute précision absolue, ont souvent du mal à calculer précisément les petites valeurs singulières
Lorsque plusieurs matrices sont impliquées, le calcul de la SVD avec haute précision relative présente des défis
En cas de défaut de rang, la présence de valeurs singulières nulles entraîne de nombreuses difficultés numériques
Les algorithmes de SVD haute précision sont principalement conçus pour des matrices individuelles de rang plein et ne s'appliquent pas directement aux scénarios multi-matrices
Lors du traitement de matrices de rang déficient, les méthodes existantes ne peuvent pas identifier et éliminer précisément les valeurs singulières nulles
Pour les matrices structurées contenant des nœuds répétés, il manque une méthode générale de représentation en produit bidiagonal
Méthode d'élimination exacte: Propose un algorithme capable d'éliminer exactement toutes les valeurs singulières nulles avec une complexité O(rS + max{n₀²r, n_K²r}), où r est la dimension minimale et S est le nombre total de paires d'éléments non-triviaux
Calcul haute précision relative: Garantit que le calcul des valeurs singulières non-nulles possède une haute précision relative, indépendamment de leur petitesse
Extraction de représentation de sous-matrice: Développe une méthode générale pour extraire la représentation de toute sous-matrice arbitraire du produit bidiagonal original
Cadre unifié: Fournit une représentation en produit bidiagonal unifié et un cadre de calcul de SVD pour les matrices structurées contenant des nœuds répétés
Garanties théoriques: Fournit une analyse d'erreur complète, prouvant les propriétés de haute précision relative de la méthode
Entrée: Produit bidiagonal non-négatif A = B₁B₂...B_K ∈ ℝ^(n₀×n_K), où B_k ∈ ℝ^(n_(k-1)×n_k) sont des matrices bidiagonales inférieures ou supérieures non-négatives
Sortie: Décomposition SVD complète de A, identification exacte des valeurs singulières nulles, calcul haute précision relative des valeurs singulières non-nulles
Contraintes: Traiter des matrices de rang arbitraire, y compris les cas de rang déficient et mal conditionnés
L'article introduit une représentation compacte du produit bidiagonal:
A =: ({ḡᵢⱼ, gᵢⱼ}) ∈ ℝ^(n×m)
Via la forme de décomposition bidiagonale:
A = L_(n-1)...L₁DU₁...U_(m-1)
Opérations clés:
Opération de mise à jour: Mise à jour de la représentation lors de l'ajout de lignes/colonnes nulles
Opération de sous-échantillonnage: Calcul de la représentation lors de la suppression de lignes/colonnes, avec un coût de O(min{t,m}) opérations sans soustraction
Opération de traversée: Calcul de la représentation de UA et LA, où U, L sont des matrices bidiagonales
Par rapport à la méthode directe de O(min{n₀,n_K}·S + max{n₀²n_K, n_K²n₀}),
la méthode périodique réalise O(rS + max{n₀²r, n_K²r}), offrant une optimisation significative lorsque r ≪ min{n₀,n_K}.
Taille de la matrice: Sous-matrice 60×80, provenant d'un produit plus grand
Valeurs singulières nulles: La méthode proposée identifie exactement 10 valeurs singulières nulles, la commande svd ne les identifie pas
Erreur relative: La méthode proposée maintient un ordre de 10⁻¹⁵, la commande svd atteint un ordre d'erreur de 10²⁵ pour les petites valeurs singulières
Élimination exacte: Les valeurs singulières nulles sont identifiées et éliminées exactement dans tous les cas de test
Haute précision relative: L'erreur relative des valeurs singulières non-nulles reste entre 10⁻¹⁶ et 10⁻¹⁴
Avantage significatif: Par rapport à la commande svd traditionnelle, une amélioration de précision de plusieurs dizaines d'ordres de grandeur est obtenue pour le calcul des petites valeurs singulières
Série de travaux de Koev P. sur le calcul exact de matrices totalement non-négatives
Littérature classique de Demmel J. et autres sur les algorithmes de SVD haute précision relative
Recherches de Marco A., Martínez J.J. sur la décomposition bidiagonale de matrices structurées
Littérature fondamentale en algèbre linéaire numérique
Évaluation globale: Cet article est un travail d'analyse numérique de haute qualité avec des contributions importantes aux niveaux théorique et pratique. La conception de l'algorithme est ingénieuse, l'analyse théorique est rigoureuse, et les expériences numériques valident pleinement l'efficacité de la méthode. Il possède une valeur académique importante et une signification pratique pour le domaine du calcul de matrices structurées.