<!-- Slide number: 1 -->
La Qualit du logiciel et m triques
Cours GL DSI2 2015-2016
<!-- Slide number: 2 -->
Plan du cours
Introduction
D veloppement logiciel
Qualit du logiciel
Th orie de la mesure
tudes empiriques
Mesure du logiciel
Analyse des mesures
2/48
<!-- Slide number: 3 -->
Quoi ?
ISO/IEC 9126 propose 6 caract ristiques de qualit du produit logiciel
Capacit fonctionnelle (functionality)
Fiabilit (reliability)
Facilit d'utilisation (usability)
Rendement (efficiency)
Maintenabilit (maintainability)
Portabilit (portability)
(Dautres existent !)
3/48
<!-- Slide number: 4 -->
Pourquoi ?
Situations
Achat dun logiciel (alternatives)
valuation de logiciel en cours dutilisation
Contr le de qualit durant le d veloppement dun logiciel
Questions
le logiciel arrive-t-il faire ce qui lui est demand ?
dans quelle mesure y arrive-t-il ?
4/48
<!-- Slide number: 5 -->
Capacit fonctionnelle
D finition
Ensemble d'attributs portant sur l'existence de fonctions et leurs propri t s ; les fonctions sont celles qui satisfont aux besoins exprim s ou implicites
Sous-caract ristiques
Aptitude : pr sence et ad quation dune s rie de fonctions pour les t ches donn es
Exactitude : r sultats ou effets justes ou convenus
Interop rabilit : interactions avec dautres syst mes
S curit : acc s non autoris (accidentel ou d lib r )
aux programmes et donn es
5/48
<!-- Slide number: 6 -->
Fiabilit
D finition
ensemble d'attributs portant sur l'aptitude du logiciel maintenir son niveau de service dans des conditions pr cises et pendant une p riode d termin e
Sous-caract ristiques
Maturit : fr quence des d faillances dues des d fauts
Tol rance aux fautes : aptitude maintenir un niveau de service donn en cas de d faut ou dattaque
Possibilit de r cup ration : capacit r tablir son niveau de service et de restaurer les donn es
directement affect es en cas de d faillance ; temps et
effort n cessaire pour le faire
6/48
<!-- Slide number: 7 -->
Facilit dutilisation
D finition
Ensemble d'attributs portant sur l'effort n cessaire pour lutilisation et l' valuation individuelle de cette utilisation par un ensemble d fini ou implicite dutilisateurs
Sous-caract ristiques
Facilit de compr hension : effort de lutilisateur pour comprendre la logique et la mise en Suvre
Facilit dapprentissage : effort de lutilisateur pour apprendre son utilisation
Facilit dexploitation : effort que doit faire lutilisateur
pour exploiter et contr ler lexploitation du logiciel
7/48
<!-- Slide number: 8 -->
Rendement
D finition
Ensemble d'attributs portant sur le rapport existant entre le niveau de service dun logiciel et la quantit de ressources utilis es, dans des conditions d termin es
Sous-caract ristiques
Temps : temps de r ponses et de traitement ; d bits lors de lex cution de sa fonction
Ressources : quantit de ressources utilis es ;
dur e de leur utilisation par fonction
8/48
<!-- Slide number: 9 -->
Maintenabilit
D finition
Ensemble d'attributs portant sur l'effort n cessaire pour faire des modifications donn es
Sous-caract ristiques
Facilit danalyse : effort n cessaire pour diagnostiquer les d ficiences et leurs causes ou pour identifier les parties modifier
Facilit de modification : effort n cessaire pour modifier, rem dier aux d fauts ou adapter lenvironnement
Stabilit : risque des effets inattendus des modifications
Facilit de test : effort pour valider le logiciel modifi
9/48
<!-- Slide number: 10 -->
Portabilit
D finition
Ensemble d'attributs portant sur l'aptitude du logiciel tre transf r dun environnement un autre
Sous-caract ristiques
Facilit dadaptation : possibilit dadaptation diff rents environnements donn s sans que lon ait recours dautres actions ou moyens que ceux pr vus cet effet par le logiciel
Facilit dinstallation : effort n cessaire pour installer le logiciel dans un environnement donn
Conformit aux r gles de portabilit : conformit aux normes et aux conventions ayant trait la portabilit
Publicité
Interchangeabilit : possibilit et effort dutilisation du logiciel la place dun autre logiciel donn dans le m me environnement
10/48
<!-- Slide number: 11 -->
Comment ?
Concr tement
La qualit nest pas une notion unidimensional.
Il est donc n cessaire
De d finir quelles caract ristiques valuer (quoi)
De d cider quelles techniques utiliser pour valuer chacune des caract ristiques (comment)
11/48
<!-- Slide number: 12 -->
Comment ?
Objectifs
Mesures
Actions
D cisions
Donn es
Faits et tendances
12/48
<!-- Slide number: 13 -->
Aspects mesurables
Les processus
Activit s reli es au d veloppement du logiciel
Les produits
Objets produits, livrables ou documents qui r sultent d'une activit dun processus
Les ressources
Entit s exig es par une activit dun processus
13/48
<!-- Slide number: 14 -->
Aspects mesurables
Chaque entit des trois classes produits, processus et ressources poss de
Des attributs internes : attributs mesurables sur lentit ind pendamment de son environnement
Des attributs externes : attributs mesurables par rapport aux liens avec son environnement
14/48
<!-- Slide number: 15 -->
Aspects mesurables
Exemples
Attributs internes de processus : effort ou dur e du processus ou dune activit , &
Attributs externes de produit : lefficacit , la portabilit , la facilit de compr hension, &
Attributs internes de produit : taille, complexit , couplage, coh sion, &
Attributs internes de ressource : personnel, mat riels, m thodes, &
15/48
<!-- Slide number: 16 -->
Aspects mesurables
Quelques remarques
Les attributs internes de produits sont souvent utilis s pour pr dire les attributs externes
Ces pr dictions permettent de contr ler le d veloppement
Il est tr s difficile de d finir objectivement des mesures qui d pendent de beaucoup dautres mesures
16/48
<!-- Slide number: 17 -->
Comment ?
GQM + QIP
| | | | | |
| --- | --- | --- | --- | --- |
| | Objectifs Mesures Donn es | | | Actions D cisions Faits et tendances |
| | | | | |
| | | | | |
ISO9126 + ISO14589
ou SCOPE
GQM:goal, question, metric
QIP:Quality Improvement Paradigm)
17/48
<!-- Slide number: 18 -->
Comment ?
ISO/IEC 9126 propose galement des grandes lignes pour un processus d valuation de la qualit
ISO/IEC 14598 propose un cadre plus pr cis pour l valuation du produit logiciel
Le projet SCOPE d finit un cadre complet pour l valuation
La m thode GQM permet de choisir les indicateurs ad quats et QIP de les am liorer
18/48
<!-- Slide number: 19 -->
Comment ?
GQM + QIP
| | | | | |
| --- | --- | --- | --- | --- |
| | Objectifs Mesures Donn es | | | Actions D cisions Faits et tendances |
| | | | | |
| | | | | |
ISO9126 + ISO14589
ou SCOPE
19/48
<!-- Slide number: 20 -->
Processus d' valuation (9126)
Processus d' valuation en trois tapes
1 La d finition des exigences de qualit
L'objectif de cette premi re tape est de sp cifier les exigences en termes de caract ristiques de qualit . Ces exigences peuvent varier d'un composant du produit un autre
2 La pr paration de l' valuation
ce niveau, l'objectif est d'initier l' valuation et de mettre au point ses bases. Ceci est fait en trois sous- tapes
20/48
<!-- Slide number: 21 -->
Processus d' valuation (9126)
La s lection des indicateurs de qualit . Ces derni res doivent correspondre aux caract ristiques num r es
La d finition des taux de satisfaction. Les chelles de valeurs doivent tre divis es en niveaux de satisfaction des exigences
La d finition des crit res d'appr ciation. Ceci inclut la pr paration de la proc dure de compilation des r sultats par caract ristique. Il est possible aussi de prendre en compte dans cette proc dure des aspects de gestion, tels que le temps ou les co ts
Publicité
(+ valuation multi-crit res)
21/48
<!-- Slide number: 22 -->
Processus d' valuation (9126)
3 La proc dure d' valuation
Mesure. Les indicateurs s lectionn s sont appliqu s au produit, donnant ainsi des valeurs
Notation. Pour chaque valeur mesur e, une note (de satisfaction) est attribu e
Appr ciation. En utilisant les crit res d'appr ciation, un r sultat global de l' valuation du produit est obtenu. Ce r sultat est confront aux aspects de gestion (temps et co ts) pour la prise de d cision
22/48
<!-- Slide number: 23 -->
Directives compl mentaires (14598)
L'objectif de cette norme est de fournir
Les directives d'identification, d'implantation et d'analyse des indicateurs n cessaires au processus d' valuation du produit final
Les directives de d finition des indicateurs qui permettent des valuations partielles pendant le cycle de d veloppement
23/48
<!-- Slide number: 24 -->
Directives compl mentaires (14598)
Cette norme donne entre autres
Des informations g n rales sur des indicateurs de qualit des logiciels
Des crit res de s lection de ces indicateurs
Des directions pour l' valuation des r sultats des mesures (donn es)
Des directions pour l'am lioration du processus de mesure
Des exemples de types de graphes d'indicateurs
Des exemples d'indicateurs qui peuvent tre utilis s pour les caract ristiques de qualit de ISO/IEC 9126
24/48
<!-- Slide number: 25 -->
Comment ?
GQM + QIP
| | | | | |
| --- | --- | --- | --- | --- |
| | Objectifs Mesures Donn es | | | Actions D cisions Faits et tendances |
| | | | | |
| | | | | |
ISO9126 + ISO14589
ou SCOPE
25/48
<!-- Slide number: 26 -->
Un cadre d valuation, SCOPE
SCOPE est un projet europ en ESPRIT (1989-93) (Software CertificatiOn Programme in Europe)
Objectifs
D finir des proc dures d'attribution d'un label de qualit un logiciel quand celui-ci satisfait un certain ensemble d'attributs de qualit
D velopper des technologies nouvelles et efficaces d' valuation, des co ts raisonnables, permettant l'attribution de ce label
Promouvoir l'utilisation des technologies modernes de l'ing nierie des logiciels. Celles-ci, utilis es durant le
d veloppement, contribuent l'attribution du label
26/48
<!-- Slide number: 27 -->
Un cadre d valuation, SCOPE
R sultat : d finition d'un cadre d' valuation comprenant
Un processus
Une m thode
Des techniques
27/48
<!-- Slide number: 28 -->
tape 1
Soumission du produit logiciel pour l'homologation
L' valuation est initi e
Processus SCOPE
Entente sur les crit res d' valuation
tape 2
Les crit res d' valuation sont produits
tape 3
Entente sur une estimation pr liminaire du co t
Analyse du produit
tape 4
La sp cification de l' valuation est produite
Production de la sp cification
tape 5
de l' valuation
S lection des modules d' valuation en fonction des objectifs
tape 6
Le plan de l' valuation est produit
tape 7
Production du plan de l' valuation
Estimation des co ts de l' valuation
tape 8
valuation du produit logiciel
mesure sur les composantes du produit
planification et gestion du projet de l' valuation
production du rapport de mesure
tape 9
L' valuation est effectu e
Rendre compte des r sultats de l' valuation
prise de d cision
informations g n rale et recommandations
capitalisation de l'exp rience
tape 10
Le rapport de l' valuation est produit
28/48
<!-- Slide number: 29 -->
Processus SCOPE
Documents produits
Les crit res d' valuation
La sp cification de l' valuation
Publicité
Le plan de l' valuation
Le rapport d' valuation
29/48
<!-- Slide number: 30 -->
M thode SCOPE
La m thode d' valuation s'appuie sur trois types d'analyse techniques
L'analyse statique qui consiste examiner le code pour valuer les caract ristiques de qualit
L'analyse dynamique qui consiste entre autres simuler le d roulement du programme pour effectuer des mesures
L'inspection qui concerne particuli rement les interfaces personnesmachines
30/48
<!-- Slide number: 31 -->
M thode SCOPE
L' valuation peut se faire selon le niveau de d tail souhait
| Niv. | Environnement | Personnes | conomie | Application |
| --- | --- | --- | --- | --- |
| D | petit dommage la propri t | pas de risques pour les personnes | perte conomique n gligeable | loisirs, domestiques |
| C | dommage la propri t | peu de personnes touch es | perte conomique significative | alarmes de feu, contr le de processus |
| B | dommage environnemental r parable | menace pour des vies humaines | grande perte conomique | syst mes m dicaux, syst mes financiers |
| A | dommage environnemental irr parable | d c s de personnes | d sastre financier | syst mes de transport, syst mes du nucl aire |
31/48
<!-- Slide number: 32 -->
Techniques SCOPE
Choix des techniques pour chaque niveau
| | Niveau D | Niveau C | Niveau B | Niveau A |
| --- | --- | --- | --- | --- |
| Capacit fonctionnelle | test fonctionnel (bo te noire) | + inspection des documents (listes de contr le) | + test des composantes | + preuve formelle |
| Fiabilit | facilit s des langages de programmation | + analyse de la tol rance aux fautes | + mod le de croissance de la fiabilit | + preuve formelle |
| Facilit d'utilisation | inspection des interfaces utilisateur | + conformit aux normes sur les interfaces | + test en laboratoire | + mod le mental de l'utilisateur |
| Rendement | mesurage du temps d'ex cution | + test avec bancs d'essais (benchmarks) | + complexit algorithmique | + analyse des performances |
| Maintenabilit | inspection des documents (listes de contr le) | + analyse statique | + analyse du processus de d veloppement | + valuation de la tra abilit |
| Portabilit | analyse de l'installation | + conformit avec les r gles de programmation | + valuation des contraintes de l'environnement | + valuation de la conception des programmes |
32/48
<!-- Slide number: 33 -->
Comment ?
GQM + QIP
| | | | | |
| --- | --- | --- | --- | --- |
| | Objectifs Mesures Donn es | | | Actions D cisions Faits et tendances |
| | | | | |
| | | | | |
ISO9126 + ISO14589
ou SCOPE
33/48
<!-- Slide number: 34 -->
Probl me : le choix dune mesure
On ne mesure pas pour le plaisir de mesurer
Comment choisir la bonne mesure quand vient le temps de mesurer ?
Le choix de la mesure d pend de lobjectif des mesures
Lune des approches les plus utilis es pour le choix des mesures est GQM
(Goal Question Metrics)
34/48
<!-- Slide number: 35 -->
GQM : introduction
Approche introduite par Basili et al.
GQM propose un cadre en trois tapes
num rez les objectifs principaux du projet de d veloppement ou de maintenance
D rivez de chaque objectif, les questions dont les r ponses permettent de d terminer si le but est atteint
D cidez de ce qui doit tre mesur afin de pouvoir r pondre aux questions
35/48
<!-- Slide number: 36 -->
Aper u
Objectif (goal)
Questions
Indicateurs (metrics)
36/48
<!-- Slide number: 37 -->
Exemple
Identifier tr s t t les modules g n rateurs derreurs
Objectif
Que veut dire modules g n rateurs derreurs ?
Est ce que la complexit a une influence sur la g n ration derreurs ?
Questions
Combien de tests seront effectu s par module ?
Donn es sur les fautes de chaque module Nombre de fautes par phase de test Nombre d checs attribu s un module
Donn es sur leffort pour chaque module
Leffort par phase de test Nombre d checs attribu s un module
M triques
Donn es sur la taille et la complexit de chaque module LOC
Mesure de complexit
37/48
<!-- Slide number: 38 -->
GQM : composantes de lapproche
Paradigme
D finit les principes suivre
Plan (mod le)
D crit lobjectif des mesures, les questions d riv es et les mesures qui en d coulent
D finit quelles mesures utiliser et pourquoi
M thode
Donne les lignes directrices pour initier et ex cuter des programmes de mesure
38/48
<!-- Slide number: 39 -->
Paradigme GQM
Le paradigme de GQM est bas sur l'id e que la mesure doit tre guid e par un objectif
Publicité
Toute collecte de donn es dans un programme de mesure doit tre bas e sur un raisonnement explicitement document
Avantages
Aide dans l'identification des indicateurs utiles et appropri s et dans l'analyse et linterpr tation des donn es collect es
Permet une valuation de la validit des conclusions tir es et vite les rejets des programmes de mesure
39/48
<!-- Slide number: 40 -->
Paradigme GQM
Principes
La t che d'analyse ex cuter doit tre sp cifi e avec pr cision et de mani re explicite (objectif explicite de la mesure)
Chaque indicateur doit avoir une justification explicitement document e ; cette justification est utilis e pour expliquer la collecte des donn es et pour guider l'analyse et linterpr tation de ces donn es
Les personnes qui d finissent lobjectif de la mesure doivent tre compl tement impliqu es dans linitiation et l'ex cution du programme de mesure
40/48
<!-- Slide number: 41 -->
Plan GQM
Le plan d crit en d tail lanalyse bas e la mesure
Il comporte trois niveaux de raffinement
Niveau conceptuel : un objectif est d finit pour une entit , en fonction dun mod le de qualit , par rapport une point de vue dans un environnement donn
Niveau op rationnel : un ensemble de questions est utilis pour d finir quantitativement lobjectif et sp cifier comment cet objectif sera interpr t
Niveau quantitatif : un ensemble de donn es est associ chaque question pour permettre dy r pondre de mani re quantitative
41/48
<!-- Slide number: 42 -->
Plan GQM
Un objectif doit pr ciser
Quelle entit est analys e
Lobjectif de lanalyse
Quelle caract ristique est analys e
Le point de vue qui doit guider lanalyse
Lenvironnement de lanalyse
Cat gorisation des questions
Mod les de qualit
Facteurs dinfluence
42/48
<!-- Slide number: 43 -->
M thode ou processus GQM
Il nexiste pas une fa on standard dappliquer lapproche GQM
Un exemple de processus est celui en 7 tapes
Caract risation de lorganisation et du projet
Identification des objectifs de la mesure
Production du plan GQM
Production du plan de mesure
Collecte et validation des donn es
Analyse des donn es et interpr tation
Stockage des r sultats fins de r utilisation
43/48
<!-- Slide number: 44 -->
La mesure pour lam lioration
Mesure = Am lioration syst matique
Relation entre mesure et am lioration
La mesure d crit quantitativement l tat courant
La connaissance de l tat courant permet de d finir des objectifs quantitatifs r alistes dam lioration
La connaissance de l tat actuel permet didentifier les points forts et les points faibles du processus utilis
La connaissance des points faibles du processus permet didentifier les changements faire pour lam liorer
Limpact dun changement ne peut tre mesur que sil existe une base quantitative permettant la comparaison
44/48
<!-- Slide number: 45 -->
La mesure pour lam lioration
Lapproche GQM fait partie dune approche globale appel e QIP (Quality Improvement Paradigm)
Processus dam lioration en 6 tapes
Caract risation
D finition des objectifs
Choix du processus
Ex cution
Analyse
Consolidation
45/48
<!-- Slide number: 46 -->
Exemple de plans de qualit GQM
AT&T
Motorola
46/48
<!-- Slide number: 47 -->
Exemple de plans de qualit GQM
AT&T
AT&T used GQM to help determine which metrics were appropriate for assessing their inspection process
47/48
<!-- Slide number: 48 -->
Exemple de plans de qualit GQM
AT&T
| Goal | Question | Metrics |
| --- | --- | --- |
| Plan | How much does the inspection process cost? | Average effort per KLOC Percentage of reinspections |
| | How much calendar time does the inspection process take? | Average effort per KLOC Total KLOC inspected |
| Monitor and control | What is the quality of the inspected software? | Average faults detected per KLOC Average inspection rate Average preparation rate |
| | To what degree did the staff conform to the procedures? | Average inspection rate Average preparation rate Average lines of code inspected Percentage of reinspections |
| | What is the status of the inspection process? | Total KLOC inspected |
| Improve | How effective is the inspection process? | Defect removal efficiency Average faults detected per KLOC Average inspection rate Average preparation rate Average lines of code inspected |
| | What is the productivity of the inspection process? | Average effort per fault detected Average inspection rate Average preparation rate Average lines of code inspected |
48/48