Initiation Matlab et Théorie Bayesienne
Initiation Matlab et Théorie Bayesienne
Programming, Math, Biometrics · lab
Fiche de révisionGuide de TP
Rédigée à partir de ce document, puis vérifiée avant publication.
Ce TP a pour objectif de vous initier à l'environnement Matlab en travaillant sur un problème de reconnaissance de formes appliqué à des données biomédicales. Vous apprendrez à manipuler des données, à visualiser des distributions et à implémenter des classifieurs bayésiens simples pour la prédiction du diabète à partir de variables sélectionnées. Ce TP nécessite Matlab et des connaissances de base en statistiques et programmation.
xall, y et n.Dans cette première étape, vous allez charger les données biomédicales et extraire les variables d'intérêt pour l'étude.
load('pima.mat')
xtemp = xall(:, [2 6]);
Cette matrice xtemp contient les données d'apprentissage pour les deux variables sélectionnées. Vous pourrez ainsi visualiser et analyser plus facilement les données.
Cette étape vise à mieux comprendre la distribution des données et la séparation des classes.
figure;
for i = 1:2
subplot(2,2,i)
hist(xtemp(y == (-1)^(i+1), i))
title(['Histogramme variable ' num2str(i) ' classe ' num2str((-1)^(i+1))])
endfigure;
plot(xtemp(y == -1,1), xtemp(y == -1,2), 'bo')
hold on
plot(xtemp(y == 1,1), xtemp(y == 1,2), 'r+')
xlabel('Concentration en glucose')
ylabel('Indice de masse corporelle')
legend('Non diabétique', 'Diabétique')
title('Visualisation des données en 2D')
hold off
Une bonne visualisation permet d'apprécier la séparation possible entre les classes et la pertinence des variables choisies.
Vous allez ici coder un classifieur bayésien simple sous l'hypothèse que les variables sont indépendantes et ont la même variance pour toutes les classes.
Pw1 = sum(y == 1) / n;
Pw_1 = sum(y == -1) / n;
mu_all = mean(xtemp);
sigma_all = std(xtemp);
x = (xtemp - mu_all) ./ sigma_all;
La variance σ est ici égale à 1 car les données sont normalisées.
mu1 = mean(x(y == 1, :));
mu_1 = mean(x(y == -1, :));
[X1, X2] = meshgrid(linspace(min(x(:,1)), max(x(:,1)), 100), linspace(min(x(:,2)), max(x(:,2)), 100));
Xtest = [X1(:) X2(:)];
g1 = -0.5 * sum((Xtest - mu1).^2, 2) + log(Pw1);
g_1 = -0.5 * sum((Xtest - mu_1).^2, 2) + log(Pw_1);f = g1 - g_1;
F = reshape(f, size(X1));
figure;
contour(X1, X2, F, [0 0], 'LineWidth', 2)
hold on
plot(x(y == -1,1), x(y == -1,2), 'bo')
plot(x(y == 1,1), x(y == 1,2), 'r+')
xlabel('Variable 1 normalisée')
ylabel('Variable 2 normalisée')
title('Fonction de prédiction du classifieur bayésien (indépendance, même variance)')
legend('Frontière de décision', 'Non diabétique', 'Diabétique')
hold off
Cette étape permet de visualiser la frontière de décision sous l'hypothèse simplifiée.
Dans cette étape, vous allez coder le classifieur bayésien sans hypothèse restrictive sur la matrice de covariance.
Pw1 = sum(y == 1) / n;
Pw_1 = sum(y == -1) / n;
mu1 = mean(x(y == 1, :));
mu_1 = mean(x(y == -1, :));
Sigma1 = cov(x(y == 1, :));
Sigma_1 = cov(x(y == -1, :));
La matrice de covariance Σ est estimée empiriquement par la fonction cov.
invSigma1 = inv(Sigma1);
invSigma_1 = inv(Sigma_1);
detSigma1 = det(Sigma1);
detSigma_1 = det(Sigma_1);
g1 = -0.5 * sum((Xtest - mu1) * invSigma1 .* (Xtest - mu1), 2) - 0.5 * log(detSigma1) + log(Pw1);
g_1 = -0.5 * sum((Xtest - mu_1) * invSigma_1 .* (Xtest - mu_1), 2) - 0.5 * log(detSigma_1) + log(Pw_1);
f = g1 - g_1;
F = reshape(f, size(X1));
figure;
contour(X1, X2, F, [0 0], 'LineWidth', 2)
hold on
plot(x(y == -1,1), x(y == -1,2), 'bo')
plot(x(y == 1,1), x(y == 1,2), 'r+')
xlabel('Variable 1 normalisée')
ylabel('Variable 2 normalisée')
title('Fonction de prédiction du classifieur bayésien général')
legend('Frontière de décision', 'Non diabétique', 'Diabétique')
hold off
Comparez cette frontière avec celle obtenue précédemment. La différence illustre l'impact de la prise en compte des covariances entre variables.
Vous devez obtenir :
reshape pour remettre les résultats sous forme de grille, rendant la visualisation impossible.