10 règles pour rédiger des questions à choix multiples efficaces
L’élaboration de ces 10 règles d’or n’est pas un hasard. Bien que les questions à choix multiples (QCM) soient celles les plus couramment utilisées, elles sont la plupart du temps mal rédigées. Les recherches affirment que 60% des questions à choix multiples présentent des lacunes et compromettent l’efficacité des données d’évaluation. Aouch !
Avec la puissance l’intelligence artificielle, nous pouvons nous poser des questions sur l’avenir de la création de questions à choix multiple de manière automatique. Oui, nous gagnons en vitesse, mais l’apprenant, lui, est-il gagnant ?
Malheureusement, une rédaction boiteuse peut fausser les résultats de vos évaluations et ne pas refléter avec précision les connaissances réelles de vos apprenants. Pour éviter les pertes de temps et pour vous fournir des données utiles, vos QCM doivent être clairement alignées aux contextes de performance, liées aux objectifs d'apprentissage et respectées des règles de rédaction.
Pour ce faire, je vous propose 10 règles pour améliorer la précision de vos questions. Elles vous permettront de créer des questions interprétées par vos apprenants en fonction de ce qui est attendu et que les choix de réponses soient clairs et sans indices. Et juste avant d’aller plus loin, petit rappel concernant l’anatomie d’une QCM.
- Aligner les QCM aux objectifs pédagogiques
Rédiger les QCM en fonction des objectifs pédagogiques est un élément très important pour obtenir des évaluations plus valides. Vos QCM doivent traduire ce que les apprenants doivent être en mesure de faire
2. Utiliser les QCM pour évaluer la compréhension et l’esprit critique
Les QCM sont pratiques pour évaluer la mémorisation, mais il faut aller plus loin en demandant aux apprenants d'interpréter des faits, d'évaluer des situations, d'expliquer des causes et des effets, de déduire et de prédire des résultats. Rédigez des questions qui demandent aux gens de prendre des décisions et de résoudre des problèmes comme ils le feraient dans la vie réelle.
3. Créer des questions réalistes alignées avec le contexte de travail
L'apprentissage est associatif. Chaque fois que nous apprenons quelque chose, nous associons inconsciemment cet apprentissage aux stimuli de la situation. Plus vos QCM reflètent le contexte de performance du monde réel, plus le potentiel de la mémorisation est élevé. Lorsque les contextes d'apprentissage et de performance comprennent des stimuli similaires, on peut dire qu'ils sont «alignés».
4. Éviter de vouloir prendre en défaut vos apprenants
Votre but est d’aider vos apprenants ! N'utilisez jamais de questions ou d'options de réponse qui pourraient tromper un apprenant. Si une question ou ses options peuvent être interprétées de deux façons ou si la différence entre les options est trop subtile, trouvez un moyen de la réécrire.
5. Les distracteurs doivent toujours être vraisemblables
Les distracteurs sont la partie la plus difficile à rédiger d’un QCM. Un distracteur est une réponse incontestablement fausse. Chaque distracteur doit être plausible pour les apprenants qui n'ont pas encore acquis les connaissances que l'exercice est censé mesurer. Pour ceux qui possèdent les connaissances demandées dans la question, les distracteurs sont clairement des choix erronés.
6. Veiller à ce que les choix de réponses soient de la même longueur
Cela peut être difficile à réaliser, mais les experts peuvent utiliser la longueur des réponses comme indice de la bonne réponse. Souvent, la réponse la plus longue est la bonne. Lorsque je ne parviens pas à obtenir quatre réponses de même longueur, j'en utilise deux courtes et deux longues.
7. Éviter les choix de réponse toutes ces réponses ou aucune de ces réponses
Probablement l’erreur la plus commune. Il s’agit souvent d’un choix de réponse facile lorsque nous n’avons pas d’idée pour des distracteurs, mais ce choix entraine la plupart du temps une confusion pour l’apprenant. De plus il encourage la devinette.
8. Éviter les négations
Évitez l'utilisation de négations telles que «ne pas». Les apprenants rencontrent souvent des difficultés à comprendre les questions formulées de manière négative.
Exemple : «Dans cette situation de travail, quelle rétroaction n’est pas pertinente ?»
Inversez plutôt la question et écrivez-la à la forme positive : «Quelle rétroaction est pertinente dans cette situation de travail ?»
À l’occasion l'utilisation de la négation est inévitable. Dans ce cas, il convient de les mettre en gras, en majuscules, en italique ou de les souligner afin que le candidat ne se méprenne pas sur l'intention de votre question.
9. Éviter les indices dans les choix de réponses
Évitez de rédiger des choix de réponses qui donnent des indices à l’apprenant. Par exemple des distracteurs irréalistes, répétition de mots dans la question et les choix, des choix avec une longueur différente.
10. Favoriser l’utilisation de trois choix de réponses
Il y a beaucoup de recherches qui favorisent l’utilisation de trois choix de réponses (2 distracteurs et une bonne réponse). Les questions à trois options sont tout aussi fiables et valables que les questions à quatre ou cinq options et permettent donc aux concepteurs de sauver beaucoup de temps. De plus, elles permettent aux apprenants de répondre plus rapidement aux questions à trois options qu'aux questions à quatre ou cinq options.
Ne pas oubliez, lors d’une première version, il y aura toujours des erreurs. Des erreurs dans vos questions peuvent amener les apprenants à être moins performants et à obtenir une note inférieure à celle qu'ils auraient obtenue si les erreurs n'avaient pas été présentes. Vous pouvez valider facilement l’efficacité de vos questions en faisant réviser par vos collègues ou en vous référant au taux de réussite. Le taux de réussite s’affiche dans l’application B12 pour chacune des questions permettant ainsi au concepteur d’évaluer si la question est bien comprise et d’aligner celle-ci sur le niveau de difficulté.
La règle de pouce à retenir concernant le taux de réussite est la suivante :
- Un taux de réussite par question très bas est synonyme d’un niveau de difficulté trop élevé.
- Un taux de réussite par question très haut est synonyme d’un niveau de difficulté trop bas.
- Le taux de réussite global peut aussi indiquer si c’est plutôt une faiblesse au niveau des connaissances qui doit être adressé.
Bref, il est facile de créer une question, mais il n’est pas facile de créer une bonne question. Cela est encore plus vrai dans un monde où la génération de contenu est plus facile que jamais. Nous nous devons de reconnaître et surtout de créer des items de qualité et ces 10 règles de rédaction sont un excellent point de départ.
Références
Abedi, J. (2006). Language issues in item development. In S. M. Downing and T. M. Haladyna (Eds.), Handbook of Test Development. Routledge.
Downing, S. M. (2005). The effects of violating standard item writing principles on tests and students: The consequences of using flawed test items on achievement examinations in medical education. Advances in Health Sciences Education, 10(2), 133-143.
Haladyna, T. M. (2004). Developing and validating multiple-choice test items (3rd ed.). Lawrence Erlbaum Associates Publishers.
Marsh, E. J. & Cantor, A. D. (2014). Learning from the test: Dos and don’ts for using multiple-choice tests. In McDaniel, M. A., Frey, R. F., Fitzpatrick, S. M., & Roediger, H. L. (Eds.), Integrating Cognitive Science with Innovative Teaching in STEM Disciplines. Washington University, Saint Louis, Missouri.
Nedeau-Cayo, R., Laughlin, D., Rus, L., Hall, J. (2013). Assessment of item-writing flaws in multiple-choice questions. Journal for Nurses in Professional Development, 29(2), 52-57.
Rodriguez, M.C. (2005), Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research. Educational Measurement: Issues and Practice, 24: 3-13. https://doi.org/10.1111/j.1745-3992.2005.00006.x
