Information Retrieval
Information Retrieval
Programming, Math · course
Fiche de révisionFiche de cours
Rédigée à partir de ce document, puis vérifiée avant publication.
Ce matériel couvre les principes fondamentaux de la recherche d'information (RI) et son évaluation. Il s'adresse aux étudiants de niveau master en sciences des données et informatique, souhaitant comprendre les modèles, les collections de test, les mesures d'évaluation et les campagnes internationales d'évaluation en RI.
La recherche d'information repose sur un corpus de documents indexés, une base d'index, des requêtes formulées par l'utilisateur et une fonction de mise en correspondance f(q, δi) qui évalue la pertinence des documents δi par rapport à la requête q. L'utilisateur soumet une requête, le système retourne une liste de documents classés selon leur pertinence estimée.
Le modèle TREC (Text Retrieval Conference) est une référence pour l'évaluation des systèmes de RI. Il comprend :
Un document extrait de la collection adi contient des métadonnées et un texte décrivant des problèmes liés à la récupération documentaire, par exemple :
.I 17 .T document recovery .A R. L. BIRCG .W the naming of journals and organizations : implications for names are chosen for technical journals for societies often incorporating factors which needlessly complicate filing and recovery...
Une requête associée pourrait être :
.I 1 .W What problems and concerns are there in making up descriptive titles? What difficulties are involved in automatically retrieving articles from approximate titles? What is the usual relevance of the content of articles to their titles?
Les jugements de pertinence indiquent quels documents sont pertinents pour chaque requête. Par exemple :
# qid docid relevance 1 17 1 1 46 1 1 62 1 2 12 1 2 71 1
Trois expérimentations sur la collection adi ont été réalisées avec différents systèmes (smart.nnn.nnn, smart.lic.ann, zettair), produisant des listes de documents classés avec des scores associés.
L’évaluation d’un SRI suppose que :
On évalue la capacité du système :
Ces deux mesures fondamentales sont définies par :
Recall = |Rel ∩ Retr| / |Rel|
Precision = |Rel ∩ Retr| / |Retr|
où :
La F-mesure est la moyenne harmonique pondérée de la précision P et du rappel R :
F = 1 / (α / P + (1 - α) / R)
ou, avec β² = (1 - α) / α :
F = (β² + 1) P R / (β² P + R)
En particulier, la F1-mesure (β = 1) est :
F1 = 2 P R / (P + R)
Dans une liste de documents classés, la précision et le rappel sont calculés à chaque rang en considérant tous les documents récupérés jusqu’à ce rang.
Pour la requête 27, avec 33 documents pertinents et 66 documents récupérés classés par score décroissant, la précision et le rappel sont calculés à chaque rang :
Ces valeurs permettent de tracer la courbe précision-rappel.
Pour comparer plusieurs requêtes, on interpole les valeurs de précision entre les points de rappel observés et on extrapole jusqu’à 0% de rappel. On utilise généralement 11 points standards de rappel allant de 0% à 100% par pas de 10%.
Les courbes précision-rappel peuvent être moyennées sur plusieurs requêtes pour évaluer globalement un système.
trec_eval est l'outil standard pour l’évaluation des systèmes de RI. Il fournit de nombreuses mesures :
La moyenne de la précision moyenne (MAP) est définie par :
AP(q) = (1 / |Relq|) ∑_{k=1}^{|Relq|} P(R_{qk})
MAP(Q) = (1 / |Q|) ∑_{q ∈ Q} AP(q)
où P(R_{qk}) est la précision au rang du k-ième document pertinent récupéré pour la requête q.
Plusieurs collections de documents sont utilisées pour la recherche d'information :
TREC est la campagne annuelle la plus connue pour l’évaluation des systèmes de RI depuis 1992. Le cycle comprend :
Les tailles varient de quelques milliers à plusieurs millions de documents, avec des tailles de corpus allant de quelques gigaoctets à plusieurs téraoctets.
<DOC> <DOCNO> WSJ870324-0001 </DOCNO> <HL> John Blair Is Near Accord To Sell Unit, Sources Say </HL> <DD> 03/24/87</DD> <SO> WALL STREET JOURNAL (J) </SO> <IN> REL TENDER OFFERS, MERGERS, ACQUISITIONS (TNM) MARKETING, ADVERTISING (MKT) TELECOMMUNICATIONS, BROADCASTING, TELEPHONE, TELEGRAPH (TEL) </IN> <DATELINE> NEW YORK </DATELINE> <TEXT> John Blair & Co. is close to an agreement to sell its TV station advertising representation operation and program production unit to an investor group led by James H. Rosenfield, a former CBS Inc. executive, industry sources said. Industry sources put the value of the proposed acquisition at more than $100 million. ... </TEXT> </DOC>
Un topic décrit un besoin d’information et donne des indications sur la pertinence. Il est construit par un évaluateur (assessor) qui identifie les documents pertinents pour ce topic.
<top> <num> Number: 451 <title> What is a Bengals cat? <desc> Description: Provide information on the Bengal cat breed. <narr> Narrative: Item should include any information on the Bengal cat breed, including description, origin, characteristics, breeding program, names of breeders and catteries carrying bengals. References which discuss bengal clubs only are not relevant. Discussions of bengal tigers are not relevant. </top>
La requête doit être construite à partir du topic.
Le jugement de pertinence est un processus long et coûteux. Par exemple, juger 800 000 documents à raison de 30 secondes par document nécessiterait plus de 900 jours ouvrés. TREC utilise la méthode de pooling pour limiter ce travail.
Questions importantes :
La mesure bpref est conçue pour gérer les jugements incomplets :
bpref(q) = (1 / R) ∑_r (1 - |n classés avant r| / min(R, N))
où :