Trace et transposée de matrice/Droite de régression de y en x

Nous allons voir dans ce chapitre une importante application du chapitre précédent. Nous allons établir les formules permettant de calculer la droite de régression de y en x. Un nuage de points étant donné dans un repère, nous devons calculer l'équation de la droite passant le plus près possible de tous ces points.

Position du problème

Nous supposons qu’il existe une loi de proportionnalité (ou approximativement de proportionnalité) entre une variable y et une variable x. Des mesures expérimentales nous donnent un ensemble de couples (x,y) :

$\{(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)\}$

En reportant ces n mesures dans un repère, nous constatons que les points (en rouge sur le dessin) ne sont pas parfaitement alignés, cela étant dû, par exemple, à l'imprécision des mesures.

Nous allons, malgré tout, essayer de trouver une droite (en bleu sur le dessin) d'équation y = ax + b passant le plus près de tous les points.

Pour cela, nous faisons comme si la droite passait parfaitement par tous les points. Nous obtenons le système suivant :

$\{\begin{array}{c}{y}_1=a{x}_1+b\\ y_2=a{x}_2+b\\ y_3=a{x}_3+b\\ ⋮\\ y_n=a{x}_n+b\end{array}$

et nous constatons que nous avons un système de n équations à deux inconnues a et b.

Résolution au mieux du système

Le système établi précédemment ayant beaucoup plus d'équations que d'inconnues, nous allons essayer de le résoudre « au mieux » comme nous avons appris à le faire dans le chapitre précédent.

Sous forme matricielle, le système précédent s'écrit :

$\left(\begin{array}{cc}{x}_1& 1\\ x_2& 1\\ x_3& 1\\ ⋮& ⋮\\ x_n& 1\end{array}\right)\left(\begin{array}{c}a\\ b\end{array}\right)=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)$

D'après le théorème démontré au chapitre précédent, les nombres a et b qui satisfont au mieux le système précédent sont les racines du système obtenu en multipliant à gauche les deux membres par la transposée de la première matrice ; nous obtenons :

$\left(\begin{array}{ccccc}{x}_1& x_2& x_3& \cdots & x_n\\ 1& 1& 1& \cdots & 1\end{array}\right)\left(\begin{array}{cc}{x}_1& 1\\ x_2& 1\\ x_3& 1\\ ⋮& ⋮\\ x_n& 1\end{array}\right)\left(\begin{array}{c}a\\ b\end{array}\right)=\left(\begin{array}{ccccc}{x}_1& x_2& x_3& \cdots & x_n\\ 1& 1& 1& \cdots & 1\end{array}\right)\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)$.

En effectuant les produits matriciels, nous obtenons :

$\left(\begin{array}{cc}\sum _{i=1}^n{x}_i^2& \sum _{i=1}^n{x}_i\\ \sum _{i=1}^n{x}_i& n\end{array}\right)\left(\begin{array}{c}a\\ b\end{array}\right)=\left(\begin{array}{c}\sum _{i=1}^n{x}_i{y}_i\\ \sum _{i=1}^n{y}_i\end{array}\right)$.

En traduisant cette dernière relation sous forme de système, nous obtenons :

$\{\begin{array}{c}a\sum _{i=1}^n{x}_i^2+b\sum _{i=1}^n{x}_i=\sum _{i=1}^n{x}_i{y}_i\\ a\sum _{i=1}^n{x}_i+bn=\sum _{i=1}^n{y}_i.\end{array}$

En éliminant b de la première équation grâce à la deuxième, nous obtenons :

$\{\begin{array}{c}a(n\sum _{i=1}^n{x}_i^2-{\left(\sum _{i=1}^n{x}_i\right)}^2)=n\sum _{i=1}^n{x}_i{y}_i-\sum _{i=1}^n{x}_i\sum _{i=1}^n{y}_i\\ a\sum _{i=1}^n{x}_i+bn=\sum _{i=1}^n{y}_i.\end{array}$

En divisant les deux membres de la première équation par n² et les deux membres de la deuxième équation par n, nous obtenons :

$\{\begin{array}{c}a(\frac{1}{n}\sum _{i=1}^n{x}_i^2-{\left(\frac{1}{n}\sum _{i=1}^n{x}_i\right)}^2)=\frac{1}{n}\sum _{i=1}^n{x}_i{y}_i-\frac{1}{n}\sum _{i=1}^n{x}_i\frac{1}{n}\sum _{i=1}^n{y}_i\\ a\frac{1}{n}\sum _{i=1}^n{x}_i+b=\frac{1}{n}\sum _{i=1}^n{y}_i.\end{array}$

Compte tenu du rappel précédent, notre système peut s'écrire :

$\{\begin{array}{c}a\mathrm{var}(x)=\mathrm{cov}(x,y)\\ a\overline{x}+b=\overline{y},\end{array}$

ce qui donne finalement :

$\{\begin{array}{c}a=\frac{\mathrm{cov}(x,y)}{\mathrm{var}(x)}\\ b=\overline{y}-a\overline{x}.\end{array}$

Nous avons obtenu le résultat suivant :