15.2 Existence

Dans cette section, on montre que toute matrice possède une décomposition en valeurs singullières:

Les matrices $A^TA$ et $AA^T$

Notre point de départ:

Étant symétriques, le Théorème Spectral garantit que $A^TA$ et $AA^T$ sont diagonalisables:

• Il existe une matrice orthogonale $V$ ($n\times n$) et une matrice diagonale $D$ ($n\times n$) telle que $$A^TA=VDV^T\,.$$
• Il existe une matrice orthogonale $U$ ($m\times m$) et une matrice diagonale $D'$ ($m\times m$) telle que $$AA^T=UD'U^T\,.$$

On sait que les éléments diagonaux de $D$ (resp. $D'$) sont les valeurs propres de $A^TA$ (resp. $AA^T$), avec éventuellement des répétitions selon les dimensions des espaces propres associés. Or ces valeurs propres ont des propriétés particulières:

Les deux lemmes ci-dessus impliquent:

Preuve du théorème:

(La preuve ci-dessous est tirée de wikipedia.)

Considérons la diagonalisation de $A^TA$: $$A^TA=VDV^T \,.$$ En multipliant à gauche par $V^T$ puis à droite par $V$, $$V^T(A^TA)V=D\,.$$ Par le lemme ci-dessus, toutes les valeurs propres de $A^TA$, sur la diagonale de $D$, sont $\geqslant 0$.

Sans perte de généralité, on peut supposer que la valeur propre nulle (éventuellement répétée) apparaît en bas de la diagonale: $$D=\mathrm{diag}(\lambda_1,\lambda_2,\dots,\lambda_l,0,\dots,0)\,,$$ avec $\lambda_1\gt 0,\dots,\lambda_l\gt 0$. Distinguons ensuite la sous-matrice diagonale de $D$ qui contient les valeurs propres strictement positives, en écrivant: $$D= \left[ \begin{array}{cc} D_*&0\\ 0&0 \end{array} \right]_{\square}\,,$$ où $D_*=\mathrm{diag}(\lambda_1,\dots,\lambda_l)$ est $l\times l$, et les ''$0$'' sont des matrices nulles.

À l'ordre fixé par les valeurs propres dans $D$ correspond un ordre des colonnes dans la matrice de changement de base $V$: $$V= \left[ \begin{array}{cc} V_1& V_2 \end{array} \right]_{\square}\,,$$ où

• $V_1$ est une matrice $n\times l$ dont les colonnes forment une famille libre de vecteurs propres associés aux valeurs propres non-nulles $\lambda_1,\dots,\lambda_l$.
• $V_2$ est une matrice $n\times (n-l)$ dont les colonnes forment une famille libre de vecteurs propres associés à la valeur propre $\lambda=0$.

L'orthonormalité des colonnes de $V$ implique que $$V_1^TV_1=I_l\,,\qquad V_2^TV_2=I_{n-l}\,,$$ mais la relation $VV^T=I_n$ implique aussi que $$I_n= VV^T= \left[ \begin{array}{cc} V_1& V_2 \end{array} \right]_{\square} \left[ \begin{array}{c} V_1^T\\ V_2^T \end{array} \right]_{\square} =V_1V_1^T+V_2V_2^T\,.$$ Utilisons ces matrices $V_1$ et $V_2$ pour récrire la diagonalisation $A^TA=VDV^T$, qui est équivalente à $V^T(A^TA)V=D$. Comme $$\begin{aligned} V^T(A^TA)V &= \left[ \begin{array}{c} V_1^T\\ V_2^T \end{array} \right]_{\square} A^TA \left[ \begin{array}{cc} V_1& V_2 \end{array} \right]_{\square}\\ &= \left[ \begin{array}{c} V_1^T\\ V_2^T \end{array} \right]_{\square} \left[ \begin{array}{cc} A^TAV_1& A^TAV_2 \end{array} \right]_{\square}\\ &= \left[ \begin{array}{cc} V_1^TA^TAV_1& V_1^TA^TAV_2 \\ V_2^TA^TAV_1& V_2^TA^TAV_2 \end{array} \right]_{\square}\,, \end{aligned}$$ et comme cette matrice est égale à $$D= \left[ \begin{array}{cc} D_*&0\\ 0&0 \end{array} \right]_{\square}\,,$$ ceci implique que $$V_1^TA^TAV_1=D_* \quad (l\times l)$$ et $$V_2^TA^TAV_2 =0 \quad ((n-l)\times (n-l))$$ De cette dernière, on tire que $(AV_2)^T(AV_2)=0$, qui implique que $$AV_2=0\,.$$ (En effet, on sait que pour toute matrice $M$, $M^TM$ contient tous les produits scalaires possibles entre les colonnes de $M$, en particulier, sur sa diagonale, les carrés des normes des colonnes. Si $M^TM=0$, cela implique que la norme de chaque colonne de $M$ est nulle, et donc que $M$ est la matrice nulle. )

Définissons maintenant la matrice $m\times l$: $$U_1:= AV_1D_*^{-1/2}\,,$$ où $$D_*^{-1/2}:= \mathrm{diag}(1/\sqrt{\lambda_1},\dots,1/\sqrt{\lambda_l})$$ est bien définie puisque $\lambda_k\gt 0$ pour tout $k=1,\dots,l$, et n'est rien d'autre que l'inverse de $$D_*^{1/2}:= \mathrm{diag}(\sqrt{\lambda_1},\dots,\sqrt{\lambda_l}).$$ On remarque maintenant que les colonnes de $U_1$ forment une famille orthonormale, puisque $$\begin{aligned} U_1^TU_1 &=(AV_1D_*^{-1/2})^TAV_1D_*^{-1/2}\\ &=D_*^{-1/2}(V_1^TA^TAV_1)D_*^{-1/2}\\ &=D_*^{-1/2}D_*D_*^{-1/2}\\ &=I_l\,. \end{aligned}$$ Montrons que $U_1$, $D_*$ et $V_1$ fournissent déjà une première factorisation de $A$:

En effet, $$\begin{aligned} U_1D_*^{1/2}V_1^T &=AV_1\underbrace{D_*^{-1/2}D_*^{1/2}}_{=I_l}V_1^T\\ &=AV_1V_1^T\\ &=A(I_n-V_2V_2^T)\\ &=A-(\underbrace{AV_2}_{=0})V_2^T\\ &=A \end{aligned}$$ Cette première factorisation constitue la base de l'argument; il reste maintenant à modifier le produit $U_1D_*^{1/2}V_1^T$, en augmentant les tailles des matrices, de façon à ce qu'il devienne $U\Sigma V^T$.

On rajoute d'abord à $V_1^T$ le bloc $V_2^T$, ce qui donne $$V^T= \left[ \begin{array}{c} V_1^T\\ V_2^T \end{array} \right]_{\square}$$ Passons à $U$. Si $l=m$, alors on peut prendre $U=U_1$. Mais, si $l\lt m$, $U_1$ n'est pas carrées: ses colonnes forment une base orthonormée de $\mathrm{Col}(U_1)\subset \mathbb{R}^m$, mais pas de $\mathbb{R}^m$, on peut donc compléter cette base en une base de $\mathbb{R}^m$, et même, via un procédé de Gram-Schmidt si nécessaire, la compléter en une base orthonormée de $\mathbb{R}^n$. Les $m-l$ vecteurs rajoutés peuvent être rangés dans une matrice $U_2$, $m\times(m-l)$, qui permet de définir la matrice $m\times m$ orthogonale $$U:= \left[ \begin{array}{cc} U_1& U_2 \end{array} \right]_{\square}\,.$$ Finalement, $\Sigma$ ($m\times n$) est construite à partir de $D_*^{1/2}$ ($l\times l$), en rajoutant des blocs nuls, si nécessaire (rappelons que $l\leqslant \min\{m,n\}$): $$\Sigma:= \left[ \begin{array}{cc} D_*^{1/2}&{\color{orange}0}\\ {\color{purple}0}&{\color{teal}0} \end{array} \right]_{\square}\,.$$ où

• ${\color{orange}0}$ est $l\times(n-l)$,
• ${\color{purple}0}$ est $(m-l)\times l$,
• ${\color{teal}0}$ est $(m-l)\times(n-l)$.

Remarquons que ceci peut a priori faire apparaître des valeurs singulières nulles sur la diagonale de $\Sigma$.

Montrons que l'on a ce qu'on voulait:

En effet, $$\begin{aligned} U\Sigma V^T &= \left[ \begin{array}{cc} U_1& U_2 \end{array} \right]_{\square} \left[ \begin{array}{cc} D_*^{1/2}&{\color{orange}0}\\ {\color{purple}0}&{\color{teal}0} \end{array} \right]_{\square} \left[ \begin{array}{c} V_1^T\\ V_2^T \end{array} \right]_{\square}\\ &= \left[ \begin{array}{cc} U_1& U_2 \end{array} \right]_{\square} \left[ \begin{array}{cc} D_*^{1/2}V_1^T\\ 0 \end{array} \right]_{\square}\\ &=U_1D_*^{1/2}V_1^T\\ &=A\,. \end{aligned}$$ Ceci termine la preuve de l'existence d'une SVD.

Quelques remarques au vu de la preuve que l'on vient de donner:

• Les valeurs singulières non-nulles de $A$ sont les racines carrées des valeurs propres de $A^TA$ (et $AA^T$): $$\sigma_j=\sqrt{\lambda_j}\,.$$ Les valeurs singulières nulles sont possibles (elles apparaissent au moment où on complète $D_*^{1/2}$ avec des blocs de zéros), et sont liées au fait que $A^TA$ ou $AA^T$ peuvent posséder $\lambda=0$ comme valeur propre.
• On l'a dit, les colonnes de $V$ forment une base orthonormée de $\mathbb{R}^n$, formée de vecteurs propres de $A^TA$, et les colonnes de $U$ forment une base orthonormale de $\mathbb{R}^m$, formée de vecteurs propres de $AA^T$.
• La définition du bloc $U_1=[\boldsymbol{u}_1\cdots \boldsymbol{u}_l]$ peut aussi s'exprimer comme suit: $$\begin{aligned} U_1 &=AV_1D_*^{-1/2}\\ &=[A\boldsymbol{v}_1\cdots A\boldsymbol{v}_l]D_*^{-1/2}\\ &=[\tfrac{1}{\sqrt{\lambda_1}}A\boldsymbol{v}_1\cdots \tfrac{1}{\sqrt{\lambda_l}} A\boldsymbol{v}_l]\,. \end{aligned}$$ On a donc toujours un moyen direct de calculer les $l$ premières colonnes de $U_1$: $$\boldsymbol{u}_j:= \tfrac{1}{\sqrt{\lambda_j}}A\boldsymbol{v}_j\,,\qquad j=1,2,\dots,l\,,$$ où $\boldsymbol{v}_j$ est la $j$-ème colonne de $V_1$, correspondant au vecteur propre orthonormé de $A^TA$, associé à la $j$-ème valeur propre $\lambda_j\gt 0$.
• Comme la décomposition QR, la décomposition en valeurs singulières existe toujours, mais n'est pas unique. En effet, le choix des vecteurs propres, dans la construction de $V$, peut toujours se faire de multiples façons, menant à autant de SVD différentes.

---

Dernière compilation: 2025-03-16 (08:47:54)

Sauf indication contraire, le contenu de ce document est soumis à une licence Creative Commons internationale, Attribution: Pas d'Utilisation Commerciale - Partage dans les Mêmes Conditions 4.0 (CC BY-NC-SA 4.0)