Qu’est-ce que la méthode d’Angoff?
La méthode d’Angoff fixe une note de passage en jugeant les questions, et non en classant les personnes qui les ont écrites. Un panel d’experts du domaine se représente une personne candidate tout juste assez compétente pour entrer dans la profession. Pour chaque question, chaque membre du panel estime la probabilité que cette personne réponde correctement. La moyenne de ces estimations donne le score que cette personne devrait obtenir, et ce score sert de base à la note de passage.
La méthode porte le nom de William Angoff, dont le chapitre de 1971 dans Educational Measurement est l’ouvrage cité par le rapport technique de l’ExAC. Elle est largement utilisée pour les examens d’admission à une profession et de certification. L’examen canadien de certification des adjoints au médecin, par exemple, en utilise une forme modifiée.
La personne candidate minimalement compétente est l’idée centrale de la méthode. Il ne s’agit ni de la moyenne ni d’une vedette. C’est quelqu’un qui a atteint le niveau minimal de compétence requis pour exercer, sans plus. Le panel ne se demande pas si une question est difficile en général. Il se demande comment cette personne s’en tirerait.
Un exemple chiffré
Voici le calcul pour un examen de cinq questions et un panel de trois personnes. Les questions et les chiffres sont inventés pour illustrer la méthode. Ils ne proviennent d’aucun examen ni d’aucun panel de l’ExAC.
| Type de question | Membres A, B, C | Moyenne |
| Rappel d’une définition | 80 %, 85 %, 75 % | 80 % |
| Recherche simple dans le code | 65 %, 60 %, 70 % | 65 % |
| Détail d’enveloppe avec un défaut à repérer | 70 %, 60 %, 65 % | 65 % |
| Scénario contractuel, deux réponses plausibles | 45 %, 55 %, 50 % | 50 % |
| Calcul de coûts en plusieurs étapes | 40 %, 50 %, 45 % | 45 % |
| Estimation du panel pour cet examen | Moyenne des cinq | 61 % |
Supposons maintenant que l’examen de l’année suivante soit plus difficile et que le panel évalue les cinq mêmes types de questions à 70, 55, 55, 40 et 35 %. L’estimation descend à 51 %. C’est tout l’intérêt de la méthode : un examen plus difficile reçoit une note de passage plus basse, un examen plus facile une note plus haute, et la norme attendue de la personne candidate ne bouge pas.