Aller au contenu

Chapitre III: Data Mining - La Régression linéaire

La régression linéaire est une méthode statistique utilisée pour modéliser la relation entre une variable dépendante et une ou plusieurs variables indépendantes. Dans ce chapitre, nous allons explorer les concepts fondamentaux de la régression linéaire simple et multiple, ainsi que les tests de significativité et les prévisions associées.

D'après le document Chapitre III: Data Mining - La Régression linéaire

Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.

Document source

Chapitre III: Data Mining - La Régression linéaire

Statistics and Data Mining · PDF · 6 pages · 2021

Afficher l'aperçu du document

Consulter le document original →

La régression linéaire est une méthode statistique utilisée pour modéliser la relation entre une variable dépendante et une ou plusieurs variables indépendantes. Dans ce chapitre, nous allons explorer les concepts fondamentaux de la régression linéaire simple et multiple, ainsi que les tests de significativité et les prévisions associées. Ce contenu est essentiel pour les étudiants en statistiques et en data mining.

Régression linéaire simple

La régression linéaire simple est décrite par l'équation suivante :

Y = b0 + b1 * X + ε

Dans cette équation, Y est la variable à expliquer, X est la variable explicative, b0 est l'ordonnée à l'origine, b1 est le coefficient de régression, et ε est le terme aléatoire. Pour estimer les paramètres b0 et b1, nous utilisons la méthode des Moindres Carrés Ordinaires (MCO), qui vise à minimiser la somme des carrés des résidus.

Les résidus sont définis comme :

ei = Yi - Ŷi

Où Ŷi est la valeur prédite par le modèle. Les formules pour estimer les coefficients sont :

b1̂ = (Σ(xi * yi) - n * X̅ * Y̅) / (Σ(xi^2) - n * X̅^2)

b0̂ = Y̅ - b1̂ * X̅

Objectifs de la régression linéaire simple

L'objectif principal est de modéliser les données disponibles sous forme d'un modèle linéaire approprié. Ce modèle doit synthétiser l'ensemble des données non explicatives et regrouper trois types d'erreurs : erreur de spécification, erreur de mesure et erreur de fluctuation d'échantillonnage.

Hypothèses des MCO

  • H1 : Le modèle est linéaire en Xt.
  • H2 : Les valeurs Xt sont observées sans erreur.
  • H3 : E(εt) = 0, en moyenne, le modèle est bien spécifié.
  • H4 : E(εt^2) = σ², la variance de l'erreur est constante.
  • H5 : E(εt * εt') = 0, les erreurs sont non corrélées.
  • H6 : Cov(Xt, εt) = 0, l'erreur est indépendante de la variable explicative.

Tests de significativité

Pour évaluer la pertinence des paramètres estimés, nous réalisons des tests de significativité. L'hypothèse nulle H0 stipule que le paramètre βi est égal à zéro, tandis que l'hypothèse alternative H1 indique qu'il est différent de zéro. Si |tβ̂i*| > tα/2(n-2), nous acceptons H1, ce qui signifie que la variable Xi contribue à l'explication du modèle.

Régression linéaire multiple

La régression linéaire multiple étend le concept de la régression simple en incluant plusieurs variables explicatives. L'équation générale est :

Y = f(X1, X2, …, Xn)

Où X représente la matrice des variables explicatives. Les hypothèses classiques des MCO s'appliquent, avec l'ajout de l'hypothèse d'indépendance des variables explicatives.

Écriture matricielle du modèle

Le modèle peut être écrit sous forme matricielle :

Y = Xβ + ε

Où β est le vecteur des coefficients à estimer. Les estimations des paramètres sont données par :

β̂ = (X'X)⁻¹X'Y

La variance de l'erreur est calculée comme :

σ²̂ = SCE / (n - k - 1)

Tests en régression linéaire multiple

Nous pouvons réaliser des tests similaires à ceux de la régression simple, notamment le test de significativité des paramètres et le test de significativité globale du modèle. L'hypothèse nulle H0 stipule que tous les coefficients sont nuls, tandis que H1 indique qu'au moins un coefficient est différent de zéro.

Le calcul de F* pour tester la significativité globale est donné par :

F* = SCR / k / SCE / (n - k - 1)

Si F* > Fα(k, n-k-1), nous acceptons H1.

Points clés

Voici quelques points essentiels à retenir sur la régression linéaire :

  • La régression linéaire simple modélise la relation entre une variable dépendante et une variable indépendante.
  • La méthode des Moindres Carrés Ordinaires est utilisée pour estimer les paramètres.
  • Les hypothèses des MCO doivent être vérifiées pour garantir la validité du modèle.
  • La régression linéaire multiple permet d'inclure plusieurs variables explicatives.
  • Des tests de significativité aident à évaluer la pertinence des variables dans le modèle.

Questions fréquentes

Qu'est-ce que la régression linéaire simple ?

La régression linéaire simple est une méthode statistique qui modélise la relation entre une variable dépendante et une variable indépendante à l'aide d'une équation linéaire.

Comment estimer les paramètres d'un modèle de régression ?

Les paramètres d'un modèle de régression sont estimés en utilisant la méthode des Moindres Carrés Ordinaires, qui minimise la somme des carrés des résidus.

Quelles sont les hypothèses des MCO ?

Les hypothèses des MCO incluent la linéarité du modèle, l'absence d'erreurs dans les variables explicatives, et l'indépendance des erreurs.

Comment tester la significativité d'un paramètre ?

La significativité d'un paramètre est testée en comparant la valeur t calculée à une valeur critique de Student. Si la valeur absolue de t est supérieure à la valeur critique, le paramètre est significatif.

Qu'est-ce que la régression linéaire multiple ?

La régression linéaire multiple est une extension de la régression simple qui inclut plusieurs variables explicatives pour modéliser une variable dépendante.

Partager

Commentaires

Aucun commentaire pour le moment. Posez la première question.

Les commentaires sont relus avant publication. Votre e-mail n'est jamais affiché.

← Toutes les révisions