APPRENTISSAGE AVEC PYTHON ET SICKIT LEARN
APPRENTISSAGE AVEC PYTHON ET SICKIT LEARN
Business Analytics, Data Science, Programming, Statistics · lab
Fiche de révisionGuide de TP
Rédigée à partir de ce document, puis vérifiée avant publication.
Ce TP poursuit l'étude de la régression linéaire avec Python et la bibliothèque Scikit-learn. Il permet d'apprendre à évaluer un modèle de régression, à résoudre analytiquement l'équation du modèle pour minimiser la fonction de coût, et à mesurer ses performances sur un ensemble de test. Pour réaliser ce TP, il est nécessaire d'avoir déjà effectué une régression linéaire simple avec Scikit-learn et de disposer d'un environnement Python avec numpy et sklearn installés.
Pour évaluer la qualité de notre modèle de régression, il faut définir une fonction de perte appelée fonction de coût. La différence entre le prix réel des pizzas (valeurs observées) et le prix prédit par le modèle est appelée erreur résiduelle. En évaluant le modèle sur un ensemble de test indépendant, cette erreur devient l’erreur de prédiction.
La somme résiduelle des carrés (RSS) est la somme des carrés des erreurs résiduelles. Elle est représentée par :
RSS = Σ (yᵢ - f(xᵢ))²
où yᵢ est la valeur observée et f(xᵢ) la valeur prédite par le modèle.
En Python, calculez cette erreur avec les données de test et les prédictions du modèle. Un RSS faible indique un bon ajustement. Par exemple, un RSS obtenu de 1.75 est un résultat attendu.
Le modèle linéaire est défini par l’équation :
y = αx + β
Nous cherchons à déterminer les paramètres α et β qui minimisent la fonction de coût (RSS).
Pour calculer α, il faut d’abord calculer la variance de x et la covariance entre x et y.
La variance mesure la dispersion des valeurs x autour de leur moyenne x̄ :
variance = (1 / (n - 1)) * Σ (xᵢ - x̄)²
où n est le nombre d’exemples, xᵢ un exemple, et x̄ la moyenne des x.
En Python, utilisez la fonction numpy :
np.var(x, ddof=1)
La covariance mesure comment x et y varient ensemble :
covariance = (1 / (n - 1)) * Σ (xᵢ - x̄)(yᵢ - ȳ)
où ȳ est la moyenne des y.
En Python, utilisez :
np.cov(x.transpose(), y)[0][1]
Une fois variance et covariance calculées, α est donné par :
α = covariance / variance
Calculez cette valeur en Python pour obtenir le coefficient directeur de la droite de régression.
Le paramètre β est calculé pour que la droite passe par le centroïde (x̄, ȳ) :
β = ȳ - α * x̄
Calculez β en utilisant les moyennes de x et y ainsi que le α précédemment calculé.
Pour éviter le surapprentissage, il est important d’évaluer le modèle sur un ensemble de test distinct. Voici un exemple d’ensemble de test :
| Exemple | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| Taille | 8 | 9 | 11 | 16 | 12 |
| Prix | 11 | 8.5 | 15 | 18 | 11 |
Une mesure classique pour évaluer la qualité du modèle est le coefficient de détermination R-squared (R²), qui compare la RSS à la somme totale des carrés (TSS) :
TSS = Σ (yᵢ - ȳ)²
R² = 1 - (RSS / TSS)
où yᵢ sont les valeurs observées et ȳ leur moyenne.
En Python, vous pouvez calculer R² directement avec la fonction score de sklearn :
model.score(X_test, y_test)
Un R² de 0.66 indique que 66% de la variance des données est expliquée par le modèle.
ddof=1, ce qui donne une variance biaisée.