15.2 Existence

Dans cette section, on montre que toute matrice possède une décomposition en valeurs singullières:

Les matrices \(A^TA\) et \(AA^T\)

Notre point de départ:

Étant symétriques, le Théorème Spectral garantit que \(A^TA\) et \(AA^T\) sont diagonalisables:

• Il existe une matrice orthogonale \(V\) (\(n\times n\)) et une matrice diagonale \(D\) (\(n\times n\)) telle que \[A^TA=VDV^T\,.\]
• Il existe une matrice orthogonale \(U\) (\(m\times m\)) et une matrice diagonale \(D'\) (\(m\times m\)) telle que \[AA^T=UD'U^T\,.\]

On sait que les éléments diagonaux de \(D\) (resp. \(D'\)) sont les valeurs propres de \(A^TA\) (resp. \(AA^T\)), avec éventuellement des répétitions selon les dimensions des espaces propres associés. Or ces valeurs propres ont des propriétés particulières:

Les deux lemmes ci-dessus impliquent:

Preuve du théorème:

(La preuve ci-dessous est tirée de wikipedia.)

Considérons la diagonalisation de \(A^TA\): \[ A^TA=VDV^T \,. \] En multipliant à gauche par \(V^T\) puis à droite par \(V\), \[ V^T(A^TA)V=D\,. \] Par le lemme ci-dessus, toutes les valeurs propres de \(A^TA\), sur la diagonale de \(D\), sont \(\geqslant 0\).

Sans perte de généralité, on peut supposer que la valeur propre nulle (éventuellement répétée) apparaît en bas de la diagonale: \[ D=\mathrm{diag}(\lambda_1,\lambda_2,\dots,\lambda_l,0,\dots,0)\,, \] avec \(\lambda_1\gt 0,\dots,\lambda_l\gt 0\). Distinguons ensuite la sous-matrice diagonale de \(D\) qui contient les valeurs propres strictement positives, en écrivant: \[ D= \left[ \begin{array}{cc} D_*&0\\ 0&0 \end{array} \right]_{\square}\,, \] où \(D_*=\mathrm{diag}(\lambda_1,\dots,\lambda_l)\) est \(l\times l\), et les ''\(0\)'' sont des matrices nulles.

À l'ordre fixé par les valeurs propres dans \(D\) correspond un ordre des colonnes dans la matrice de changement de base \(V\): \[ V= \left[ \begin{array}{cc} V_1& V_2 \end{array} \right]_{\square}\,, \] où

• \(V_1\) est une matrice \(n\times l\) dont les colonnes forment une famille libre de vecteurs propres associés aux valeurs propres non-nulles \(\lambda_1,\dots,\lambda_l\).
• \(V_2\) est une matrice \(n\times (n-l)\) dont les colonnes forment une famille libre de vecteurs propres associés à la valeur propre \(\lambda=0\).

L'orthonormalité des colonnes de \(V\) implique que \[ V_1^TV_1=I_l\,,\qquad V_2^TV_2=I_{n-l}\,, \] mais la relation \(VV^T=I_n\) implique aussi que \[ I_n= VV^T= \left[ \begin{array}{cc} V_1& V_2 \end{array} \right]_{\square} \left[ \begin{array}{c} V_1^T\\ V_2^T \end{array} \right]_{\square} =V_1V_1^T+V_2V_2^T\,. \] Utilisons ces matrices \(V_1\) et \(V_2\) pour récrire la diagonalisation \(A^TA=VDV^T\), qui est équivalente à \(V^T(A^TA)V=D\). Comme \[\begin{aligned} V^T(A^TA)V &= \left[ \begin{array}{c} V_1^T\\ V_2^T \end{array} \right]_{\square} A^TA \left[ \begin{array}{cc} V_1& V_2 \end{array} \right]_{\square}\\ &= \left[ \begin{array}{c} V_1^T\\ V_2^T \end{array} \right]_{\square} \left[ \begin{array}{cc} A^TAV_1& A^TAV_2 \end{array} \right]_{\square}\\ &= \left[ \begin{array}{cc} V_1^TA^TAV_1& V_1^TA^TAV_2 \\ V_2^TA^TAV_1& V_2^TA^TAV_2 \end{array} \right]_{\square}\,, \end{aligned}\] et comme cette matrice est égale à \[D= \left[ \begin{array}{cc} D_*&0\\ 0&0 \end{array} \right]_{\square}\,, \] ceci implique que \[ V_1^TA^TAV_1=D_* \quad (l\times l) \] et \[ V_2^TA^TAV_2 =0 \quad ((n-l)\times (n-l)) \] De cette dernière, on tire que \((AV_2)^T(AV_2)=0\), qui implique que \[ AV_2=0\,. \] (En effet, on sait que pour toute matrice \(M\), \(M^TM\) contient tous les produits scalaires possibles entre les colonnes de \(M\), en particulier, sur sa diagonale, les carrés des normes des colonnes. Si \(M^TM=0\), cela implique que la norme de chaque colonne de \(M\) est nulle, et donc que \(M\) est la matrice nulle. )

Définissons maintenant la matrice \(m\times l\): \[ U_1:= AV_1D_*^{-1/2}\,, \] où \[ D_*^{-1/2}:= \mathrm{diag}(1/\sqrt{\lambda_1},\dots,1/\sqrt{\lambda_l}) \] est bien définie puisque \(\lambda_k\gt 0\) pour tout \(k=1,\dots,l\), et n'est rien d'autre que l'inverse de \[ D_*^{1/2}:= \mathrm{diag}(\sqrt{\lambda_1},\dots,\sqrt{\lambda_l}). \] On remarque maintenant que les colonnes de \(U_1\) forment une famille orthonormale, puisque \[\begin{aligned} U_1^TU_1 &=(AV_1D_*^{-1/2})^TAV_1D_*^{-1/2}\\ &=D_*^{-1/2}(V_1^TA^TAV_1)D_*^{-1/2}\\ &=D_*^{-1/2}D_*D_*^{-1/2}\\ &=I_l\,. \end{aligned}\] Montrons que \(U_1\), \(D_*\) et \(V_1\) fournissent déjà une première factorisation de \(A\):

En effet, \[\begin{aligned} U_1D_*^{1/2}V_1^T &=AV_1\underbrace{D_*^{-1/2}D_*^{1/2}}_{=I_l}V_1^T\\ &=AV_1V_1^T\\ &=A(I_n-V_2V_2^T)\\ &=A-(\underbrace{AV_2}_{=0})V_2^T\\ &=A \end{aligned}\] Cette première factorisation constitue la base de l'argument; il reste maintenant à modifier le produit \(U_1D_*^{1/2}V_1^T\), en augmentant les tailles des matrices, de façon à ce qu'il devienne \(U\Sigma V^T\).

On rajoute d'abord à \(V_1^T\) le bloc \(V_2^T\), ce qui donne \[ V^T= \left[ \begin{array}{c} V_1^T\\ V_2^T \end{array} \right]_{\square} \] Passons à \(U\). Si \(l=m\), alors on peut prendre \(U=U_1\). Mais, si \(l\lt m\), \(U_1\) n'est pas carrées: ses colonnes forment une base orthonormée de \(\mathrm{Col}(U_1)\subset \mathbb{R}^m\), mais pas de \(\mathbb{R}^m\), on peut donc compléter cette base en une base de \(\mathbb{R}^m\), et même, via un procédé de Gram-Schmidt si nécessaire, la compléter en une base orthonormée de \(\mathbb{R}^n\). Les \(m-l\) vecteurs rajoutés peuvent être rangés dans une matrice \(U_2\), \(m\times(m-l)\), qui permet de définir la matrice \(m\times m\) orthogonale \[ U:= \left[ \begin{array}{cc} U_1& U_2 \end{array} \right]_{\square}\,. \] Finalement, \(\Sigma\) (\(m\times n\)) est construite à partir de \(D_*^{1/2}\) (\(l\times l\)), en rajoutant des blocs nuls, si nécessaire (rappelons que \(l\leqslant \min\{m,n\}\)): \[ \Sigma:= \left[ \begin{array}{cc} D_*^{1/2}&{\color{orange}0}\\ {\color{purple}0}&{\color{teal}0} \end{array} \right]_{\square}\,. \] où

• \({\color{orange}0}\) est \(l\times(n-l)\),
• \({\color{purple}0}\) est \((m-l)\times l\),
• \({\color{teal}0}\) est \((m-l)\times(n-l)\).

Remarquons que ceci peut a priori faire apparaître des valeurs singulières nulles sur la diagonale de \(\Sigma\).

Montrons que l'on a ce qu'on voulait:

En effet, \[\begin{aligned} U\Sigma V^T &= \left[ \begin{array}{cc} U_1& U_2 \end{array} \right]_{\square} \left[ \begin{array}{cc} D_*^{1/2}&{\color{orange}0}\\ {\color{purple}0}&{\color{teal}0} \end{array} \right]_{\square} \left[ \begin{array}{c} V_1^T\\ V_2^T \end{array} \right]_{\square}\\ &= \left[ \begin{array}{cc} U_1& U_2 \end{array} \right]_{\square} \left[ \begin{array}{cc} D_*^{1/2}V_1^T\\ 0 \end{array} \right]_{\square}\\ &=U_1D_*^{1/2}V_1^T\\ &=A\,. \end{aligned}\] Ceci termine la preuve de l'existence d'une SVD.

Quelques remarques au vu de la preuve que l'on vient de donner:

• Les valeurs singulières non-nulles de \(A\) sont les racines carrées des valeurs propres de \(A^TA\) (et \(AA^T\)): \[ \sigma_j=\sqrt{\lambda_j}\,. \] Les valeurs singulières nulles sont possibles (elles apparaissent au moment où on complète \(D_*^{1/2}\) avec des blocs de zéros), et sont liées au fait que \(A^TA\) ou \(AA^T\) peuvent posséder \(\lambda=0\) comme valeur propre.
• On l'a dit, les colonnes de \(V\) forment une base orthonormée de \(\mathbb{R}^n\), formée de vecteurs propres de \(A^TA\), et les colonnes de \(U\) forment une base orthonormale de \(\mathbb{R}^m\), formée de vecteurs propres de \(AA^T\).
• La définition du bloc \(U_1=[\boldsymbol{u}_1\cdots \boldsymbol{u}_l]\) peut aussi s'exprimer comme suit: \[\begin{aligned} U_1 &=AV_1D_*^{-1/2}\\ &=[A\boldsymbol{v}_1\cdots A\boldsymbol{v}_l]D_*^{-1/2}\\ &=[\tfrac{1}{\sqrt{\lambda_1}}A\boldsymbol{v}_1\cdots \tfrac{1}{\sqrt{\lambda_l}} A\boldsymbol{v}_l]\,. \end{aligned}\] On a donc toujours un moyen direct de calculer les \(l\) premières colonnes de \(U_1\): \[ \boldsymbol{u}_j:= \tfrac{1}{\sqrt{\lambda_j}}A\boldsymbol{v}_j\,,\qquad j=1,2,\dots,l\,, \] où \(\boldsymbol{v}_j\) est la \(j\)-ème colonne de \(V_1\), correspondant au vecteur propre orthonormé de \(A^TA\), associé à la \(j\)-ème valeur propre \(\lambda_j\gt 0\).
• Comme la décomposition QR, la décomposition en valeurs singulières existe toujours, mais n'est pas unique. En effet, le choix des vecteurs propres, dans la construction de \(V\), peut toujours se faire de multiples façons, menant à autant de SVD différentes.

---

Dernière compilation: 2023-08-30 (14:16:46)

Sauf indication contraire, le contenu de ce document est soumis à une licence Creative Commons internationale, Attribution: Pas d'Utilisation Commerciale - Partage dans les Mêmes Conditions 4.0 (CC BY-NC-SA 4.0)