Mathématiques 2: Statistiques:
Statistiques à deux variables
Méthode des moindres carrés
Régression linéaire

1. Régression linéaire
Méthode des moindres carrés

Pour la méthode linéaire, les paramètres aj à calculer sont a1 = a et a2 = b. La courbe de l'équation cherchée est une droite d'équation:

y = a x + b .

Nous allons donc utiliser la méthode des moindres carrés pour trouver les coefficients a et b.

La droite relative à cette équation est alors la droite de régression.

Calculons S.

$\bf\color{green}{S = \sum_{i=1}^n {(y_i - y)^2 } = \sum_{i=1}^n {y_i^2} - 2 \sum_{i=1}^n {yy_i} + \sum_{i=1}^n {y^2 } = \\ \text{ }\\ \sum_{i=1}^n {y_i^2} - 2 \sum_{i=1}^n {(ax_i + b)y_i } + \sum_{i=1}^n {(a x_i + b)^2} = \\ \text{ }\\ \sum_{i=1}^n {y_i^2 }- 2 a \sum_{i=1}^n {x_i y_i} - 2 b \sum_{i=1}^n {y_i} + a^2 \sum_{i=1}^n {x_i^2} \\ + 2 a b \sum_{i=1}^n {x_i} + \sum_{i=1}^n {b^2}. }$

Les équations des dérivées partielles de S sont:

$\large\begin{cases}{\color{maroon}{\bf {\frac{\partial S}{\partial a} = 0 \\ \frac{\partial S}{\partial b} = 0 }}}\end{cases} \text { } \\ \text { } \\ \text { } \\ \begin{cases}{\bf{- 2 \sum_{i=1}^n {x_i y_i} + 2 \sum_{i=1}^n {a x_i^2} + 2 \sum_{i=1}^n {b x_i} = 0} \\ {\bf - 2 \sum_{i=1}^n {y_i} + 2 a \sum_{i=1}^n { x_i} + 2 \sum_{i=1}^n {b} = 0 }} \end{cases}$

La résolution du système donne:

$\large\begin{cases} \color{brown}{\bf {a = \frac {\sum_{i=1}^n { x_i y_i} - \sum_{i=1}^n { x_i} \sum_{i=1}^n { y_i} } {\sum_{i=1}^n { x_i^2} - (\sum_{i=1}^n { x_i})^2}} \\ \text { }\\ \bf {b = \frac {\sum_{i=1}^n {x_i^2} \sum_{i=1}^n {y_i} - \sum_{i=1}^n { x_i} \sum_{i=1}^n {x_i y_i} } {\sum_{i=1}^n { x_i^2} - (\sum_{i=1}^n { x_i})^2} }} \end{cases}$

Nous utiliserons la méthode des moindres carrés pour trouver l'équation d'une regression quadratique, exponentielle ou autre.

2. Coefficient de corrélation r

$\bf\large\color{brown}{ sse = \sum_{i=1}^n {(y_i - a x_i - b) ^2}} \\ \text { }\\ \bf\large\color{brown}{ sst = \sum_{i=1}^n {(y_i - \bar{y})^2}} \\ \text { }\\ \large\color{green}{ r = \sqrt{1 - \frac{sse}{sst}}}\\$