La régression linéaire est un modèle qu'on utilise en machine learning mais qui originellement est issues des statistique.
Dans cet article nous allons voir ensemble
Qu'est ce que la régression linéaire
Les différentes méthode pour faire une régression linéaire
Un exemple à la main ou on va faire nous-même la régression linéaire de données
Un modèle numérique implémenté from scratch ou l'on fera la régression d'un plus grand jeu de données.
Qu'est ce que la régression linéaire ?
Prenons un exemple, imaginons que votre poids varie en fonction de votre taille.
La régression linéaire part du part du principe qu'il existe une relation linéaire entre les variable d'entrée x, en l'ocurrence la taille dans notre exemple et la variable de sortir y, le poids.
Cela veut dire que le poids peut s'exprimer sous la forme ax+b comme suit
poids = a*taille + b
Mais de manière plus générale, la sortie y vaudra
y= a_1*x_1+a_2*x2+a_3*x3+.....+a_n*x_n
Cela signifie que si par exemple l'on avait dit que le poids variait en fonction de l'age, du tour de taille et de la taille l'on aurait eu l'équation suivante
poids =a_1*age + a_2*tour_taille+a_3*taille
Qu'elle sont les différentes méthode pour faire une régression linéaire
En utilisant des statistiques il est possible de résoudre les problème de régression linéaire sous la forme y=ax+b.
La méthode des moindre carré ordinaire ( Ordinary Least squares)
Quand il y a plus d'une entrée, le problème se complique et l'on est obligé d'utiliser des heuristique pour le résoudre.
La régression est une méthode numérique qui consiste à minimiser l'erreur existante entre la prédiction et la vrai valeur.
l'erreur pour un point i est la suivant
erreur_i =(yvrai_i -ypredit_i)^2= (y_vrai -( a_1*x1_i+a_2*x2_i+a_3*x3_i+.....+a_n*xn_i))^2
Finalement l'erreur totale revient à faire la somme de toutes les erreur pour de tout les points.7
erreur_total=somme(erreur_i)
La descent de gradient (Gradient Descent)
Gradient Descent
Méthode régularisée
Les méthode régularisé cherche à minimiser l'erreur carré du modèle en utilisant les données d'entraînement tout en tentant d'être plus rapide que la méthode des moindre carré ordinaire.
http://eric.univ-lyon2.fr/~ricco/cours/slides/regularized_regression.pdf