DØtection de points d’intØrŒts - Mise en correspondance

(cid:28)

(cid:1)

(cid:28)

5

(cid:5)

(cid:28)

5

(cid:9)

(

(

(cid:5)

5

(cid:28)

5

(cid:5)

5

(cid:28)

5

(cid:9)

(

(

(

(cid:7)

(

(

(cid:11)

(cid:5)

(

(

(cid:7)

*

(cid:19)

*

J

(cid:1)

(

Q

(cid:19)

*

E

(cid:1)

(cid:3)

(cid:11)

Q

(cid:19)

(cid:19)

,

+

(cid:19)

(

(

(

:

DØtection de points d’intØrŒts - Mise en correspondance

3. En(cid:2)n, le dØtecteur de Moravec repond de maniŁre trop forte aux contours

est pris en compte en chaque

en raison du fait que seul le minimum de

pixel. Pour prendre en compte le comportement gØnØral de la fonction

localement, on Øcrit :

(cid:2)(cid:4)(cid:3)(cid:6)(cid:5)(cid:8)(cid:7)(cid:10)(cid:9)(cid:12)(cid:11)

(cid:3)(cid:6)(cid:5)(cid:8)(cid:7)(cid:24)(cid:9).(cid:11)%]_^

]1(cid:3)(cid:6)(cid:5)(cid:8)(cid:7)(cid:24)(cid:9).(cid:11)@‘a(cid:7)

avec :

(cid:1)cb

Jed

, les valeurs

caractØrise le comportement local de la fonction

La matrice

propres de cette matrice correspondent en effet aux courbures principales

associØes (cid:224)

:

Si les deux courbures sont de faibles valeurs, alors la rØgion considØrØe

a une intensitØ approximativement constante.

Si une des courbures est de forte valeur alors que l’autre est de faible

valeur alors la rØgion contient un contour.

Si les deux courbures sont de fortes valeurs alors l’intensite varit forte-

ment dans toutes les directions, ce qui caractØrise un coin.

Par voie de consØquence, Harris et Stephen propose l’opØrateur suivant pour

dØtecter les coins dans une image :

(cid:1)Ugihkj

(cid:3)l^m(cid:11)(cid:20)$!n1oqp\r1s

(cid:3)O^=(cid:11)

(cid:3)l^=(cid:11)

Jt$!E

oup\r1s

(cid:3)O^=(cid:11)

(cid:31)DJ

g(cid:4)hkj

(cid:1)(cid:14)A

(cid:1)(cid:14)A

avec :

et

.

Les valeurs de

sont positives au voisinage d’un coin, nØgatives au voisinage

d’un contour et faibles dans une rØgion d’intensitØ constante.

UFRIMA

5

(cid:2)

(cid:2)

(cid:1)

^

A

E

E

:

^

(cid:2)

(cid:2)

*

*

*

f

h

(

(

h

f

DØtection de points d’intØrŒts - Mise en correspondance

Mise en correspondance

ConsidØrons deux images 1 et 2 d’une scŁne, il s’agit ici de dØterminer, pour

un ØlØment de l’image 1, l’ØlØment qui lui correspond dans l’image 2 et eventuelle-

ment dans d’autres images. La mise en correspondance de primitives est un prob-

lŁme fondamental de la vision par ordinateur. C’est un processus intermØdiaire

entre les processus dit de haut niveaux : reconstruction, reconnaissance, etc., et

ceux de bas niveaux : extraction d’indices.

P

p

1

C 1

p

2

C

2

v4w

Deux pixels

et

correspondants.

La mise en correspondance, ou appariement, peut s’appliquer (cid:224) diffØrents

types de de primitives :

1. points ;

2. segments ou contours ;

3. rØgions ;

et repose sur l’introduction de mesure de similaritØ (ressemblance) entre primi-

tives dans plusieurs images.

(cid:212) La mise en correspondance est, en gØnØral, ambiguº. Des contraintes gØomØtriques

sur la position d’un correspondant dans l’image 2 sont utilisØes pour rØduire

le nombre de correspondants potentiels.

UFRIMA

6

v

(

DØtection de points d’intØrŒts - Mise en correspondance

1 Contraintes gØomØtriques

1.1 Contrainte Øpipolaire

vxw

La contrainte Øpipolaire est une contrainte gØomØtrique qui rØduit l’ensemble des

correspondants potentiels d’un point (cid:224) une droite dans l’image. ConsidØrons le

de l’image ??. Les points de l’espace ayant pour image le point

point

sont

situØs sur la ligne de vue de direction

dans

. Les correspondants potentiels de

l’image 2 sont donc nØcessairement situØs sur la projection de la droite d’origine

v(cid:22)w

v(cid:8)w

yHw

y(cid:12)w

et de direction

dans l’image 2.

R

1

p

1

C

1

plan épipolaire

e1

l

p

2

e2

p

2

C

2

2R

d1

P

l

1p

La droite des correspondants potentiels de

droite Øpipolaire de

.

v4w

(cid:3)OE

v(cid:22)w

dans l’image 2 est appelØe

Les intersections de la droite

dØ(cid:2)nissent les Øpipoles

et

avec les plans rØtiniens

et

des camØras 1 et 2.

Les droites Øpipolaires dans une image s’intersectent (cid:224) l’Øpipole.

UFRIMA

7

E

w

*

*

w

E

(

(cid:11)

f

w

f

(

h

w

h

(

*

DØtection de points d’intØrŒts - Mise en correspondance

1.2 Recti(cid:2)cation d’images

La recti(cid:2)cation d’images consiste (cid:224) recalculer, pour deux images en position

gØnØrale, deux nouvelles images telles que la gØomØtrie Øpipolaire de ces deux

images soit simple ; c’est (cid:224) dire que les droites Øpipolaires sont horizontales, ce

qui implique que les deux nouveaux Øpipoles soient (cid:224) l’in(cid:2)ni.

Une solution consiste (cid:224) garder les deux centres de projection comme nouveaux

centres de projection et (cid:224) utiliser comme nouveaux plans retiniens un seul et mŒme

plan contenant la direction de la droite liant les deux centres de projection. Ce

plan n’etant pas dØ(cid:2)ni de maniŁre unique, il faut choisir une orientation. On peut

alors considerer que le nouveau plan rØtinien contient la direction de la droite

intersection des plans rØtiniens des images originales.

P

p’

1

p’

2

p

1

C 1

p

2

C2

UFRIMA

8

DØtection de points d’intØrŒts - Mise en correspondance

1.3 Contrainte d’ordre

La contrainte d’ordre spØci(cid:2)e que les projections images apparaissent dans le

appartenant

mŒme ordre sur les droites Øpipolaires. Prenons deux points

(cid:224) un mŒme plan Øpipolaire de deux vues 1 et 2, alors la contrainte d’ordre impose

apparaissent dans le mŒme ordre sur les droites epipo-

que leurs projections

laires dans les images 1 et 2. Cette contrainte dØ(cid:2)nie donc, pour un point

de

l’espace une zone interdite.

et

et

z {

(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)

(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)

(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)

(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)

(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)

(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)

(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)

(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)

P’

(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)

(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)

(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)

(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)

|}|}|}|}|}|}|}|}|}|}|}|}|}|}|}|

~}~}~}~}~}~}~}~}~}~}~}~}~}~}~}~

(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)}(cid:127)

(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)}(cid:128)

|}|}|}|}|}|}|}|}|}|}|}|}|}|}|}|

~}~}~}~}~}~}~}~}~}~}~}~}~}~}~}~

P

|}|}|}|}|}|}|}|}|}|}|}|}|}|}|}|

~}~}~}~}~}~}~}~}~}~}~}~}~}~}~}~

|}|}|}|}|}|}|}|}|}|}|}|}|}|}|}|

~}~}~}~}~}~}~}~}~}~}~}~}~}~}~}~

|}|}|}|}|}|}|}|}|}|}|}|}|}|}|}|

~}~}~}~}~}~}~}~}~}~}~}~}~}~}~}~

|}|}|}|}|}|}|}|}|}|}|}|}|}|}|}|

~}~}~}~}~}~}~}~}~}~}~}~}~}~}~}~

|}|}|}|}|}|}|}|}|}|}|}|}|}|}|}|

~}~}~}~}~}~}~}~}~}~}~}~}~}~}~}~

|}|}|}|}|}|}|}|}|}|}|}|}|}|}|}|

~}~}~}~}~}~}~}~}~}~}~}~}~}~}~}~

P’

|}|}|}|}|}|}|}|}|}|}|}|}|}|}|}|

~}~}~}~}~}~}~}~}~}~}~}~}~}~}~}~

|}|}|}|}|}|}|}|}|}|}|}|}|}|}|}|

~}~}~}~}~}~}~}~}~}~}~}~}~}~}~}~

p

p’

p

p’

Zone interdite associØe au point P.

(cid:212) En pratique, la contrainte d’ordre n’est pas toujours vØri(cid:2)Øe. Cela depend

de la taille des objets considØrØs.

UFRIMA

9

z

v

v

{

z

DØtection de points d’intØrŒts - Mise en correspondance

P’

P

p’

p

p’

p

La contrainte d’ordre est vØri(cid:2)Øe.

P’

P

p’

p

p’

p

La contrainte d’ordre n’est pas vØri(cid:2)Øe.

UFRIMA

10

DØtection de points d’intØrŒts - Mise en correspondance

2 CorrØlation

Les mØthodes de corrØlation sont utilisØes depuis longtemps, en particulier en pho-

togrammØtrie, pour mettre en correspondance des pixels sur la base d’informations

d’intensitØs. L’idØe est de dØ(cid:2)nir une mesure de similaritØ entre les pixels de dexu

images.

(cid:212) Les pixels sont les primitives les mieux adaptØs pour la mise en correspon-

dance. Les rØgions sont en effet mal adaptØes (cid:224) la mise en correspondance

(la taille d’une rØgion est differente d’une image (cid:224) une autre). L’utilistion

des segments quant (cid:224) elle est limitØe aux scŁnes polyØdriques.

2.1 Le principe

v(cid:8)w

v4w

Le principe est de considØrer, pour un pixel

laire centrØe en

deuxiŁme image. La fonction de corrØlation est alors maximum en

dans la deuxiŁme image (distance minimum).

dant de

de l’image 1, une fenŒtre rectangu-

et de calculer sa corrØlation/distance avec une fenŒtre dans la

correspon-

vxw

p

1

p

2

Les mesures de distance les plus classiques, pour une fenŒtre de taille

C(cid:130)(cid:129)(cid:131)(cid:31)

, sont :

Sum of Absolute Distances (SAD)

(cid:3)(cid:6)(cid:21)

(cid:7)(cid:10)(cid:23)

(cid:11)W(cid:7)

(cid:3)-(cid:133)

(cid:7)(cid:24)(cid:23)

(cid:11)(cid:134)(cid:11)

(cid:3)-(cid:21)

(cid:31)"(cid:133)(cid:10)(cid:7)(cid:24)(cid:23)

(cid:31)(cid:143)(cid:142)(cid:25)(cid:11)W$3(cid:28)

(cid:3)(cid:6)(cid:21)

(cid:31)"(cid:133)(cid:134)(cid:7)(cid:24)(cid:23)

(cid:31)(cid:143)(cid:142)9(cid:11)’(cid:26)(cid:144):

A"g

vxw

(cid:136)(cid:138)(cid:137)#(cid:139)

(cid:141)(cid:10)(cid:137)#(cid:139)

Sum of Squared Distances (SSD)

(cid:132)(cid:145)(cid:132)

(cid:3)-(cid:21)

(cid:7)(cid:24)(cid:23)

(cid:11);(cid:7)

(cid:3)(cid:6)(cid:133)

(cid:7)(cid:24)(cid:23)

(cid:11)(cid:10)(cid:11)

(cid:3)(cid:6)(cid:28)

(cid:3)(cid:6)(cid:21)

(cid:31)"(cid:133)(cid:134)(cid:7)(cid:24)(cid:23)

(cid:31)(cid:146)(cid:142)9(cid:11)W$3(cid:28)

(cid:3)(cid:6)(cid:21)

(cid:31)"(cid:133)(cid:10)(cid:7)(cid:24)(cid:23)

(cid:31)(cid:143)(cid:142)9(cid:11)(cid:10)(cid:11)(cid:147)(k:

vxw

(cid:136)(cid:138)(cid:137)#(cid:139)

(cid:141)(cid:134)(cid:137)#(cid:139)

UFRIMA

11

v

(

+

C

z

(cid:31)

+

*

(cid:132)

(cid:3)

w

w

v

(

(

(

(cid:1)

(cid:135)

(cid:13)

(cid:135)

(cid:140)

(cid:13)

(cid:140)

(cid:26)

(cid:28)

w

w

w

(

(

(

*

g

(cid:3)

w

w

v

(

(

(

(cid:1)

(cid:135)

(cid:13)

(cid:135)

(cid:140)

(cid:13)

(cid:140)

w

w

w

(

(

(

DØtection de points d’intØrŒts - Mise en correspondance

Le lien avec la corrØlation se fait en considØrant le produit de corrØlation qui s’Øcrit

pour SSD :

(cid:3)(cid:6)(cid:21)

(cid:7)(cid:24)(cid:23)

(cid:11)W(cid:7)

(cid:3)-(cid:133)

(cid:7)(cid:24)(cid:23)

(cid:11)(cid:10)(cid:11)

(cid:3)(cid:6)(cid:21)

(cid:31)!(cid:133)(cid:10)(cid:7)(cid:10)(cid:23)

(cid:31)(cid:148)(cid:142)9(cid:11)(cid:147)(cid:28)

(cid:3)(cid:6)(cid:21)

(cid:31)!(cid:133)(cid:134)(cid:7)(cid:24)(cid:23)

(cid:31)(cid:149)(cid:142)9(cid:11);:

v#w

(cid:136)(cid:138)(cid:137)#(cid:139)

(cid:141)(cid:10)(cid:137)#(cid:139)

La corrØlation doit alors Œtre maximum pour deux pixels correspondants. Dans la

pratique, on normalise les fonctions d’intensitØs sur les fenŒtres considØrØes pour

limiter l’in(cid:3)uence des caractØristiques propres des camØras :

E(cid:150)(cid:3)

(cid:3)(cid:6)(cid:21)

(cid:7)(cid:24)(cid:23)

(cid:11)W(cid:7)

(cid:3)-(cid:133)

(cid:7)(cid:24)(cid:23)

(cid:11)(cid:10)(cid:11)

(cid:3)(cid:6)(cid:28)

(cid:3)-(cid:21)

(cid:31)G(cid:133)(cid:134)(cid:7)(cid:24)(cid:23)

(cid:31)(cid:143)(cid:142)(cid:25)(cid:11)W$

(cid:3)(cid:6)(cid:21)

(cid:7)(cid:24)(cid:23)

(cid:11)(cid:134)(cid:11))(cid:3)O(cid:28)

(cid:3)(cid:6)(cid:21)

(cid:31)"(cid:133)(cid:10)(cid:7)(cid:10)(cid:23)

(cid:31)(cid:143)(cid:142)9(cid:11);$

(cid:3)-(cid:21)

(cid:7)(cid:24)(cid:23)

(cid:11)(cid:10)(cid:11)W(cid:7)

vxw

(cid:136)(cid:138)(cid:137)#(cid:139)

(cid:141)(cid:10)(cid:137)#(cid:139)

avec :

(cid:3)(cid:6)(cid:21)

(cid:7)(cid:24)(cid:23)

(cid:11)(cid:134)(cid:11)

(cid:3)-(cid:21)

(cid:31)&(cid:133)(cid:10)(cid:7)(cid:24)(cid:23)

(cid:31)(cid:148)(cid:142)9(cid:11);(cid:7)

(cid:3)lC\(cid:129)(cid:131)(cid:31)

(cid:11);(cid:3)lC

(cid:136)(cid:152)(cid:137)#(cid:139)

(cid:141)(cid:10)(cid:137)#(cid:139)

(cid:3)lC(cid:130)(cid:129)(cid:153)(cid:31)

(cid:11))(cid:3)OC

(cid:11)(cid:134)[

(cid:3)-(cid:21)

(cid:7)(cid:24)(cid:23)

(cid:11)(cid:134)[

(cid:3)-(cid:21)

(cid:7)(cid:24)(cid:23)

(cid:11)W(cid:7)

(cid:3)(cid:6)(cid:21)

(cid:7)(cid:24)(cid:23)

(cid:3)O(cid:28)

(cid:3)(cid:6)(cid:21)

(cid:31)!(cid:133)(cid:134)(cid:7)(cid:24)(cid:23)

(cid:31)(cid:148)(cid:142)9(cid:11)R$

(cid:3)(cid:6)(cid:21)

(cid:7)(cid:24)(cid:23)

(cid:11)(cid:134)(cid:11)

(cid:3)lC(cid:130)(cid:129)(cid:131)(cid:31)

(cid:11))(cid:3)OC

(cid:136)(cid:138)(cid:137)#(cid:139)

(cid:141)(cid:134)(cid:137)#(cid:139)

Le principe s’applique aux distances SAD et SSD, on parle alors de Zero-

Mean Sum of Square Distances (ZSAD) et de ZSSD.

Les limitations de ces approches restent importantes et rØsultent des hypothŁses

fortes qui sont faites :

(cid:212) Les changements de points de vue n’altŁrent pas l’aspect des surfaces (Lam-

bertiennes !).

(cid:212) Pas d’occultations lors de la recherche d’un correspondant.

(cid:212) Une rØgion rectangulaire dans l’image 1 correspond (cid:224) une rØgion rectangu-

laire dans l’image 2.

(cid:212) Deux rØgions de couleurs constantes prØsentent une distance normalisØe

(ZSAD, ZSSD) nulle. Une solution consiste (cid:224) normaliser non pas la rØgion

mais l’ensemble de l’image.

UFRIMA

12

E

w

(

(cid:3)

w

w

v

(

(

(

(cid:1)

(cid:135)

(cid:13)

(cid:135)

(cid:140)

(cid:13)

(cid:140)

(cid:28)

w

w

w

(

(

(

w

w

v

(

(

(

(cid:1)

+

(cid:151)

(cid:135)

(cid:13)

(cid:135)

(cid:140)

(cid:13)

(cid:140)

w

w

w

(cid:28)

w

w

w

(

(

(

(cid:28)

(

(

(

(cid:28)

w

w

w

(cid:1)

+

+

z

(cid:31)

+

(cid:11)

(cid:135)

(cid:13)

(cid:135)

(cid:140)

(cid:13)

(cid:140)

(cid:28)

w

w

w

(cid:151)

(cid:1)

+

z

(cid:31)

+

w

w

w

(

(

(

[

(

w

w

w

(cid:11)

(cid:1)

+

+

z

(cid:31)

+

(cid:11)

(cid:135)

(cid:13)

(cid:135)

(cid:140)

(cid:13)

(cid:140)

w

w

w

(cid:28)

w

w

w

(

:

DØtection de points d’intØrŒts - Mise en correspondance

3 MØthodes par invariants

Les mesures de corrØlation sont, par nature, peu robustes aux transformations (une

zone rectangulaire reste une zone rectangulaire). D’autres mesures de ressem-

blance font intervenir des caractØristiques invariantes aux transformations telles

que les dØrivØes, (cid:224) diffØrents ordres, de la fonction d’intensitØ.

UFRIMA

13