Catégorie : Outils pour l’évaluation en ligne

La grille d’évaluation descriptive: un outil précieux en contexte d’enseignement à distance

Par Patricia Vohl (Univrersité de Montréal)

Selon Durand et Chouinard (2006/2012), une grille d’évaluation descriptive « fournit des renseignements descriptifs en ce qui concerne une performance observée et la situe par rapport à une performance attendue » (p.276). La Figure 1 qui suit est un exemple de ce qu’est une grille d’évaluation descriptive.

Figure 1. Exemple d’une grille d’évaluation descriptive tirée d’un cours de recherche et analyse quantitative.

Utiliser une telle grille comporte de nombreux avantages, aussi bien avant et pendant la réalisation d’une activité d’apprentissage, qu’au moment d’évaluer et de transmettre la rétroaction aux étudiants. Avant la réalisation d’une activité d’apprentissage, la grille d’évaluation descriptive permet à l’enseignant de préciser ses attentes en regard de l’activité à venir, puis de les communiquer clairement aux étudiants.Quand vient ensuite le temps de réaliser l’activité, la grille d’évaluation favorise l’autonomie chez les étudiants : elle leur permet d’ajuster leur production afin de répondre adéquatement aux attentes et elle leur sert d’aide-mémoire. Quand vient le moment d’évaluer, l’enseignant n’a qu’à encercler ou surligner les éléments de la grille les mieux adaptés à la production de chacun des étudiants afin de leur fournir, en peu de temps, une rétroaction détaillée, tout en garantissant l’uniformité du processus. Pour l’ensemble de ces raisons, la grille d’évaluation descriptive nous apparaît un outil d’évaluation à privilégier, particulièrement dans les situations où les défis liés à la communication sont grands, comme tel est le cas dans le contexte de la pandémie actuelle.

Ce court texte a pour objectif d’expliquer comment construire une grille d’évaluation descriptive. Pour ce faire, il sera divisé en deux parties. Dans la première, nous présenterons les quatre composantes d’une grille d’évaluation descriptive, puis dans la seconde nous proposerons quatre étapes afin d’obtenir une grille d’évaluation descriptive complète.

Les composantes d’une grille d’évaluation descriptive (Stevens et Levi, 2005)

Les composantes d’une grille d’évaluation descriptive sont les suivantes : une description de la tâche, une liste des dimensions/critères d’évaluation, une liste des niveaux de performance, et enfin une description, pour chaque dimension/critère, de chacun des niveaux de performance attendu (voir Figure 2).

Figure 2. Les composantes d’une grille d’évaluation descriptive, inspiré de Stevens et Levi (2005)

Alors que la description de la tâche se veut une formulation claire, précise et complète de l’activité d’apprentissage proposée, la liste des dimensions/critères rassemble quelques-unes des habiletés/connaissances qui sont nécessaires pour réaliser la tâche proposée ou les critères qui serviront à l’évaluer. Une grille contient en général entre 3 et 5 dimensions/critères d’évaluation. En ajoutant des pondérations aux dimensions/critères, la grille permet d’indiquer clairement leur niveau de priorisation. La liste des niveaux de performance contient habituellement entre 3 et 5 catégories, bien que certaines grilles en contiennent une seule. La Figure 1 est une grille constituée de 3 dimensions/critères et 4 niveaux de performance.

La description, pour chaque dimension/critère, de chacun des niveaux de performance attendu illustre « […] en termes observables, les caractéristiques et les propriétés d’une performance à chacun des niveaux donnés […]» (Durand et Chouinard, 2006/2012, p.283). Pour Durand et Choinard (2006/2012), chaque critère/dimension peut être relié à une qualité (clarté, variété, suffisance, pertinence, conformité, justesse, exactitude, efficacité, intensité, complétude, finesse, logique, organisation, structure ou encore richesse). Cette qualité peut ensuite être « modulée » (p. 284) afin de décrire chacun des niveaux de performance.

Pour clore cette section, il est important de mentionner que, pour qu’une grille soit efficace, les descriptions doivent respecter deux critères : elles doivent être exhaustives (prévoir tous les cas de figure) et  mutuellement exclusives (ne pas se recouper) (Wiggins, 1998; Beckers, 2002, cités dans Durand et Chouinard, 2006/2012). Cela permet en effet de situer le niveau de performance observé de chacun des étudiants de manière non-équivoque.

Démarche d’élaboration d’une grille d’évaluation descriptive

Afin d’élaborer une grille d’évaluation descriptive, 4 étapes sont proposées par Stevens et Levi (2005). Celles-ci vont comme suit.

  1. Réfléchir – Réfléchir aux objectifs du cours, à l’activité d’apprentissage demandée, aux objectifs de cette activité, aux connaissances préalables des étudiants, aux expérience antérieures vécues avec cette tâche, ainsi qu’aux qualités importantes attendues en ce qui a trait aux performances.
  2. Faire des listes et rédiger des descriptions – Faire la liste des objectifs visés par le cours ainsi que par l’activité d’apprentissage, décrire ce que serait, de manière générale, le plus haut niveau de performance attendu.
  3. Faire des regroupements – À partir du contenu rédigé à l’étape 2, regrouper les idées communes. Cela permet en général d’obtenir les dimensions/critères d’évaluation de la grille, la ou les qualités associées à chaque dimension/critère, puis la description du plus haut niveau de performance attendu, pour chaque dimension/critère.
  4. Produire la grille –Indiquer la description de la tâche, les dimensions/critères d’évaluation, les niveaux de performance et la description du plus haut niveau de performance. À partir du plus haut niveau de performance, décrire le plus bas (souvent en y allant par la négative ou en dressant la liste des erreurs typiques), puis s’inspirer de ces deux descriptions pour rédiger les autres. Au besoin, ajouter des pondérations aux critères/dimensions.

Dans ce court texte, nous avons présenté « la grille d’évaluation descriptive ». Nous sommes d’avis que cet outil d’évaluation peut s’avérer fort utile en contexte d’enseignement à distance puisqu’il facilite l’échange d’information entre l’enseignant et les étudiants, en plus de favoriser l’autonomie chez ces derniers. Nous avons mentionné les composantes de cet outil et proposé des étapes afin les créer. Les lecteurs intéressés à aller plus loin sont invités à consulter les textes suivants :

Stevens, D. D., & Levi, A. J. (2005). Introduction to rubrics: An assessment tool to save grading time, convey effective feedback, and promote student learning. Stylus Publishing, LLC.

Durand, M.-J. et Chouinard, R. (2012). L’évaluation des apprentissages : de la planification de la démarche à la communication des résultats. Éditions Marcel Didier inc.

GRIÉMÉtic (28 février 2021) La grille d’évaluation descriptive: un outil précieux en contexte d’enseignement à distance. Retrieved from https://griemetic.ca/fr/2020/09/09/la-grille-devaluation-descriptive-un-outil-precieux-en-contexte-denseignement-a-distance/.
"La grille d’évaluation descriptive: un outil précieux en contexte d’enseignement à distance." GRIÉMÉtic - 28 février 2021, https://griemetic.ca/fr/2020/09/09/la-grille-devaluation-descriptive-un-outil-precieux-en-contexte-denseignement-a-distance/
GRIÉMÉtic 9 septembre 2020 La grille d’évaluation descriptive: un outil précieux en contexte d’enseignement à distance., viewed 28 février 2021,<https://griemetic.ca/fr/2020/09/09/la-grille-devaluation-descriptive-un-outil-precieux-en-contexte-denseignement-a-distance/>
GRIÉMÉtic - La grille d’évaluation descriptive: un outil précieux en contexte d’enseignement à distance. [Internet]. [Accessed 28 février 2021]. Available from: https://griemetic.ca/fr/2020/09/09/la-grille-devaluation-descriptive-un-outil-precieux-en-contexte-denseignement-a-distance/
"La grille d’évaluation descriptive: un outil précieux en contexte d’enseignement à distance." GRIÉMÉtic - Accessed 28 février 2021. https://griemetic.ca/fr/2020/09/09/la-grille-devaluation-descriptive-un-outil-precieux-en-contexte-denseignement-a-distance/
"La grille d’évaluation descriptive: un outil précieux en contexte d’enseignement à distance." GRIÉMÉtic [Online]. Available: https://griemetic.ca/fr/2020/09/09/la-grille-devaluation-descriptive-un-outil-precieux-en-contexte-denseignement-a-distance/. [Accessed: 28 février 2021]

Les examens cliniques objectifs structurés formatifs (ECOS-F) en ligne au CAAHC pendant la pandémie de COVID-19 : une opportunité d’innovation en évaluation

Ilian Cruz-Panesso, Conseillère principal (CAAHC)

Valérie Chabot, Coordonnatrice des examens cliniques (CAAHC)

Roger Perron, Responsable activités haute-fidélité (CAAHC)

Pierre Drolet, Directeur académique (CAAHC)

Marie-Michèle Demers, Formatrice en simulation (CAAHC)

Roxane Trottier, Formatrice en simulation (CAAHC)

Shiva Gharavi, Coordonnatrice des patients simulés (CAAHC)

Département de Médecine – Centre d’apprentissage des attitudes et habiletés cliniques (CAAHC) Université de Montréal

Au Canada, comme ailleurs dans le monde, l’approche par compétence (APC) a été adoptée dans les programmes d’éducation médicale depuis une vingtaine d’années (Lacasse et al., 2016). L’évaluation formative est un des piliers fondamentaux de l’APC. Elle fait référence à une évaluation spécifiquement destinée à générer un retour d’informations sur les performances afin d’améliorer et d’accélérer l’apprentissage (Sadler,1998). Ce type d’évaluation est fondamental pour aider les apprenants à autoévaluer leur performance, identifier leurs besoins d’apprentissage et élaborer le(s) plan(s) d’amélioration (Carracio et al., 2002; & Bing-You &Trowbridge, 2009). Les examens cliniques objectifs structurés formatifs (ECOS-F) sont l’un des moyens aptes à appuyer la démarche de l’évaluation formative dans le contexte de l’APC. Ils permettent en effet la pratique des compétences et la rétroaction  (Humphrey et al., 2016). « Les tâches à effectuer dans chacune des stations d’ECOS représentent des situations cliniques de la vie réelle. On peut ainsi évaluer la capacité du candidat à appliquer ses connaissances et compétences cliniques lorsqu’il, par exemple, rencontre un patient, propose une conduite à suivre, donne un congé, s’entretient avec un collègue, etc » (MCC )

La pandémie de COVID-19 a forcé les établissements d’enseignement supérieure à repenser temporairement leur offre pédagogique, incluant les activités de simulation et les ECOS. Ainsi, à la mi-mars 2020, la Faculté de médecine de l’Université de Montréal ordonnait que les activités d’enseignement se fassent dans un format « à distance ». L’équipe du Centre d’apprentissage des attitudes et habilités cliniques (CAAHC) de la Faculté de médecine a alors répondu à l’appel en concevant et développant une gamme innovatrice de produits pédagogiques en ligne. Plusieurs activités déjà existantes et ayant pour thème la communication ont ainsi été adaptées au format en ligne[1],2. De plus, bien qu’il ait fallu annuler les ECOS sommatifs prévus en présentiel au calendrier du CAAHC en avril et mai 2020, l’ECOS formatif destiné aux étudiants de troisième année a néanmoins été maintenu et adapté au format en ligne. Toutes ces simulations ont été effectuées à l’aide de la plateforme ZOOM

L’environnement virtuel de l’ECOS en ligne

La conversion de l’ECOS au format en ligne repose sur la création de salles virtuelles, lesquelles remplacent les locaux où les examens cliniques se déroulent traditionnellement. La représentation graphique de ces salles créées sur ZOOM offre ainsi un environnement simulé qui permet aux divers participants (étudiants, médecins-évaluateurs, patients simulés), ainsi qu’à toute l’équipe du CAAHC (technique et coordination), de réaliser l’activité totalement à distance. 

La conception de l’environnement simulé propre à l’ECOS doit cependant tenir compte de plusieurs facteurs incluant notamment la quantité de stations, le temps nécessaire aux étudiants pour parcourir chacune d’entre elles, le nombre d’étudiants et l’échéancier prévu pour l’activité. Un plan est alors élaboré et présenté sous forme graphique (FIGURE 1). Ce plan sert de point d’ancrage et de référence afin de faciliter la compréhension de l’environnement de travail et des contraintes qu’il impose pour tous les intervenants.

FIGURE 1. Représentation graphique de l’environnement virtuel de l’ECOS formatif tenu en juin 2020 au CAAHC

Adapter les activités au format en ligne tout en respectant les principes d’apprentissage propres à la simulation

Afin d’adapter les activités de simulation à la formule en ligne, l’équipe du CAAHC s’est employée à respecter les principes qui régissent les bonnes pratiques en matière d’enseignement par simulation, le tout à l’intérieur des contraintes imposées par le nouveau média.

Activités hands-on: nous avons testé différents outils afin de maximiser, pour les étudiants, l’opportunité de prendre part activement aux scénarios virtuels. Ainsi, pendant l’ECOS en ligne, les étudiants ont pu maintenir un contact personnalisé continu avec les patients simulés. Le format a donc permis aux apprenants d’exercer les habiletés et compétences de communication nécessaires afin de faire face aux nouveaux défis imposés par la télémédecine.

Patients simulés et fidélité : Bien que les contraintes liées au COVID rendent le recrutement de patients simulés passablement difficile (familiarité avec les outils informatiques, limitations financières imposées par les programmes d’aide gouvernementaux, etc.), nous avons néanmoins réussi à recruter les acteurs professionnels dont nous avions besoin afin d’assurer la fidélité des simulations ainsi que l’engagement nécessaire aux interactions entre les divers participants.

Contrat de fiction : Il s’agit d’un contrat d’apprentissage dans lequel les différentes parties impliquées dans la simulation (étudiants, acteurs et instructeurs) acceptent de s’engager dans la simulation et le débriefing de manière active et respectueuse. Les modifications imposées par la formule en ligne risquant d’altérer l’engagement des étudiants, ceux-ci ont donc été invités à signer des ententes dans lesquelles les conditions aptes à maximiser les bénéfices pédagogiques sont énoncées. Les éléments suivants sont abordés dans le cadre de ces ententes:

  • Contrat d’apprentissage
  • Confidentialité des scénarios
  • Sécurité et bonnes pratiques liées à l’utilisation de ZOOM
  • Autorisation d’enregistrer et examiner les enregistrements vidéos à des fins techniques, éducatives, et de recherche

Formation préalable: L’équipe du CAAHC a préparé des tutoriels ZOOM destinés aux acteurs, étudiants et instructeurs. Ces tutoriels ont été réalisés dans le but de permettre à tous les participants d’accéder aux liens ZOOM sécurisés propres à chaque activité. Ces liens ont été intégrés dans la plateforme Medcours afin d’assurer la confidentialité et la sécurité des échanges. Différents comptes ont été créés pour les acteurs et les animateurs afin de faciliter l’accès aux procédures et d’en assurer la standardisation.

Standardisation des procédures pour les simulations en ligne: Afin de standardiser les procédures liées aux simulations en ligne, tous les employés du CAAHC ont reçu la formation nécessaire à l’utilisation de la plateforme ZOOM. Trois répétitions ont ensuite été effectuées afin de tester, corriger, optimiser et finalement valider l’ensemble des procédures. Un plan alternatif a aussi été élaboré en cas de problèmes de connexion. Toujours dans le but d’assurer la standardisation des procédures, des diagrammes de type flow charts liés aux différentes étapes des simulations ont été conçus. Ces diagrammes identifient les outils ZOOM nécessaires à la progression de l’activité et à l’orientation des étudiants au travers d’un parcours qui les mène du scénario au débriefing.

Évaluation des activités: Des évaluations en ligne respectant les meilleures pratiques en matière de conception et d’innovation pédagogiques ont été créées afin d’évaluer la motivation des étudiants ainsi que leur perception des apprentissages souhaités via cette nouvelle formule.

Bâtir une communauté de pratique dédiée à la simulation en ligne

En qualité de pionniers de la simulation en ligne, les membres de l’équipe du CAAHC n’ont pas hésité à collaborer avec d’autres groupes oeuvrant au sein de la faculté, qu’il s’agisse d’innovation ou de transformations de simulations existantes. Il convient ainsi de souligner le travail effectué avec l’équipe d’audiologie qui procédera aussi à la réalisation, en ligne, d’un examen de type ECOS. L’expertise des membres de l’équipe du CAAHC et les documents élaborés par ces derniers ont ainsi été mis à la disposition des responsables d’audiologie et des autres unités qui souhaitent les utiliser ou les adapter. Parmi les expertises partagées, on note:

1. Contact et formation des patients simulés

2. Assistance pédagogique et technique dans l’élaboration de la planification d’ECOS en ligne en audiologie

3. Partage des procédures nécessaires à la réalisation d’ECOS en ligne

4. Formation des membres de l’équipe d’audiologie en matière de planification et de réalisation d’ECOS en ligne

Présentation en ligne :

Nous vous invitons à visionner la vidéo d’une présentation récente de l’équipe du CAAHC présentant tous les détails de nos simulations en ligne : https://youtu.be/pyGnFq3VNyM


[1] Procédurier des simulations en ligne, CAAHC, juin 2020

2 Guide pour les ECOS et OSLER en ligne, CAAHC, juillet 2020

GRIÉMÉtic (28 février 2021) Les examens cliniques objectifs structurés formatifs (ECOS-F) en ligne au CAAHC pendant la pandémie de COVID-19 : une opportunité d’innovation en évaluation. Retrieved from https://griemetic.ca/fr/2020/09/02/les-examens-cliniques-objectifs-structures-formatifs-ecos-f-en-ligne-au-caahc-pendant-la-pandemie-de-covid-19-une-opportunite-dinnovation-en-evaluation/.
"Les examens cliniques objectifs structurés formatifs (ECOS-F) en ligne au CAAHC pendant la pandémie de COVID-19 : une opportunité d’innovation en évaluation." GRIÉMÉtic - 28 février 2021, https://griemetic.ca/fr/2020/09/02/les-examens-cliniques-objectifs-structures-formatifs-ecos-f-en-ligne-au-caahc-pendant-la-pandemie-de-covid-19-une-opportunite-dinnovation-en-evaluation/
GRIÉMÉtic 2 septembre 2020 Les examens cliniques objectifs structurés formatifs (ECOS-F) en ligne au CAAHC pendant la pandémie de COVID-19 : une opportunité d’innovation en évaluation., viewed 28 février 2021,<https://griemetic.ca/fr/2020/09/02/les-examens-cliniques-objectifs-structures-formatifs-ecos-f-en-ligne-au-caahc-pendant-la-pandemie-de-covid-19-une-opportunite-dinnovation-en-evaluation/>
GRIÉMÉtic - Les examens cliniques objectifs structurés formatifs (ECOS-F) en ligne au CAAHC pendant la pandémie de COVID-19 : une opportunité d’innovation en évaluation. [Internet]. [Accessed 28 février 2021]. Available from: https://griemetic.ca/fr/2020/09/02/les-examens-cliniques-objectifs-structures-formatifs-ecos-f-en-ligne-au-caahc-pendant-la-pandemie-de-covid-19-une-opportunite-dinnovation-en-evaluation/
"Les examens cliniques objectifs structurés formatifs (ECOS-F) en ligne au CAAHC pendant la pandémie de COVID-19 : une opportunité d’innovation en évaluation." GRIÉMÉtic - Accessed 28 février 2021. https://griemetic.ca/fr/2020/09/02/les-examens-cliniques-objectifs-structures-formatifs-ecos-f-en-ligne-au-caahc-pendant-la-pandemie-de-covid-19-une-opportunite-dinnovation-en-evaluation/
"Les examens cliniques objectifs structurés formatifs (ECOS-F) en ligne au CAAHC pendant la pandémie de COVID-19 : une opportunité d’innovation en évaluation." GRIÉMÉtic [Online]. Available: https://griemetic.ca/fr/2020/09/02/les-examens-cliniques-objectifs-structures-formatifs-ecos-f-en-ligne-au-caahc-pendant-la-pandemie-de-covid-19-une-opportunite-dinnovation-en-evaluation/. [Accessed: 28 février 2021]

Les plateformes d’évaluation en ligne

Marc-André Désautels

Suite à l’épidémie de Covid-19, les enseignants.es se sont retrouvés à devoir modifier de façon profonde leurs méthodes d’enseignement. De plus, ils et elles ont dus réfléchir à la manière d’évaluer leurs étudiants.es à distance. Nous voulons dans ce bref article tenter de débroussailler et de préciser les avantages et inconvénients d’évaluer nos étudiants.es en ligne, de manière asynchrone ou pas. Cet article ne présume pas faire un tour d’horizon exhaustif des possibilités de l’évaluation en ligne, mais plutôt permettre de démontrer les possibilités, les avantages et aussi les défauts des outils d’évaluation en ligne.

Nous discutons dans cet article de plateformes qui permettent une évaluation qui se rapproche le plus possible d’une évaluation traditionnelle. Nous omettons donc les options qui permettent simplement des questions de types choix de réponses ou réponses courtes (par exemple Google Forms, Microsoft Forms, etc.). Nous discuterons de plateformes permettant d’évaluer des questions de types réponses longues, réponses sous forme de textes, réponses sous forme de calculs, etc. Les deux plateformes utilisées par l’auteur sont:

Ces deux plateformes ont des fonctionnalités très similaires et nous présenterons les grandes étapes qu’un évaluateur doit faire pour partir d’une évaluation traditionnelle et finir avec une évaluation en ligne.

Pour qui s’adresse l’évaluation en ligne?

Bien que la courbe d’apprentissage des techniques du web se soit aplatie avec le temps, il est certain qu’une certaine familiarité et maîtrise des technologies de l’information sont des atouts importants pour son utilisation. Au début, l’utilisation d’une évaluation en ligne demandera davantage de temps qu’une évaluation traditionnelle mais plus vous l’utiliserez, plus vous gagnerez du temps et de la flexibilité dans vos évaluations. Il faut être un peu débrouillard, savoir aller chercher de l’information et avoir un peu de courage pour débuter ce type d’évaluation. La collaboration entre enseignants.es pour l’utilisation de cette technologie est un excellent moyen de débuter puisque la charge de travail et les divers apprentissages sont partagés entre plusieurs personnes.

Comment ça marche?

Pour bien comprendre la manière d’utiliser ces technologies d’évaluation, nous présenterons le flux de travail nécessaire pour partir d’une évaluation «traditionnelle» et arriver au processus complet d’une évaluation «en ligne». Nous scinderons ce processus en plusieurs étapes et discuterons des avantages et inconvénients potentiels.

La création d’une évaluation

Nous prenons pour acquis que le cours dont l’évaluation fait partie a été créé. Les étudiants.es ont été inscrits et ajoutés à ce cours et les membres de l’équipe enseignante ont eux aussi été ajoutés. En effet, il est habituellement possible d’être plusieurs évaluateurs pour une même évaluation ou pour un même cours.

L’évaluation peut être créée pour tous les étudiants d’un cours ou alors pour seulement certains d’entre eux. Il est possible de créer des évaluations distinctes pour diverses équipes par exemple. La manière la plus simple de créer une évaluation en ligne est de téléverser l’évaluation habituelle «version papier», sous format Pdf Ou Word par exemple. Si vous avez peu d’expérience avec ces technologies, c’est un excellent moyen de débuter avec un travail minimal.

Par contre, il est plus versatile de créer une évaluation et d’ajouter des questions directement sur la plateforme. Ceci permet d’utiliser la versatilité du web, car les évaluations sont accessibles par n’importe quel fureteur internet. C’est un avantage pour vous et vos étudiants.es car ces plateformes n’utilisent pas de logiciel que vous auriez à télécharger. Elles sont accessibles directement de votre fureteur internet, de la même façon que vous accéderiez à YouTube par exemple. Les étudiants.es peuvent même utiliser leur téléphone intelligent pour y accéder.

La création des questions

Pour les utilisateurs débutants, la création d’une question est un processus simple où il suffit d’écrire le texte de la question et de lui associer une pondération. Il est habituellement possible de créer plusieurs types de questions: choix de réponses, réponses courtes, réponses longues, etc. Il est par contre possible d’obtenir davantage de possibilités en utilisant les fonctions plus avancées de ces plateformes, même si ce n’est pas obligatoire.

Pour les utilisateurs plus avancés

Ces deux plateformes permettent l’utilisation d’un langage de balisage léger appelé Markdown. Celui-ci permet de modifier le formatage du texte, d’ajouter des hyperliens, des images, etc. Le tableau ci-dessous présente quelques possibilités de ce langage.

MarkdownRésultat
*italique*italique
**gras**gras
[GRIÉMÉtic](http://griemetic.ca/fr/)GRIÉMÉtic
![Logo GRIÉMÉtic](http://griemetic.ca/wp-content/uploads/2017/10/cropped-Griemetic_Bleu-e1508594133153-3.png)Logo GRIÉMÉtic

Pour avoir une idée des possibilités de ce langage, le markdown guide contient la liste de presque toutes les possibilités de ce langage. L’intérêt de ce langage est sa syntaxe simple, le fait qu’ils soit interprétable en fichier texte et ouvert et donc gratuit et accessible pour tous.

Il est aussi habituellement possible d’utiliser le langage LaTeX par l’entremise de MathJax, ce qui permet d’écrire des expressions mathématiques dans les questions mais aussi dans la rétroaction et la correction des copies. Ce genre d’expression peut être créé en encadrant les formules LaTeX entre un ou deux signes de dollars. Par exemple, la formule suivante $\zeta (s) = \sum_{n=1}^\infty \frac{1}{n^s}$ sera interprétée et vue par les étudiants.es comme ceci  dans le document final:

Comment les étudiants.es remettent leurs évaluations?

Les étudiants peuvent faire leur évaluation sur papier, à l’aide de Word ou Google Docs. Chaque question possède sa propre fenêtre de téléversement, il est donc préférable de compléter chaque question sur une page distincte. Les étudiants.es doivent sauver, scanner ou photographier leur évaluation. Il suffit ensuite de téléverser ces documents dans les zones de téléversement appropriées.

Si vous êtes débutants et avez par exemple créé une seule question pour votre évaluation (ce que je ne vous conseille pas!), les étudiants pourraient téléverser plusieurs fichiers qui contiendraient leurs démarches complètes. Si vous décidez de scinder votre examen en plusieurs questions, ceci vous permettra de ne corriger qu’une seule question à la fois, pour tous vos étudiants.es.

Une fois l’évaluation terminée, il est possible de l’envoyer en un seul clic aux étudiants.es, qui la recevront à leur adresse courriel. Un temps peut être imparti pour l’exécution de l’évaluation. Bien sûr, le plus grand problème de ce genre d’évaluation est qu’il est difficile, voire impossible de contrer le plagiat. Les étudiants.es peuvent se trouver à n’importe quel endroit, recevoir l’aide de n’importe qui, peuvent avoir accès à leur notes, à leurs livres, etc.

Une fois les évaluations présentes sur la plateforme, tous les évaluateurs peuvent corriger les questions qui leur sont attitrées au même moment, à l’endroit qui leur convient. Il n’est plus nécessaire de partager les copies physiques des évaluations et d’attendre qu’un des évaluateurs ait terminé pour qu’un autre continue le travail. Pour une personne seule, la flexibilité de pouvoir corriger à n’importe quel moment, n’importe où, une seule sous-question sans avoir à gérer une pile de copies est un immense avantage.

Les outils d’évaluation

Comme indiqué précédemment, pour chacune des questions, les étudiants.es devront envoyer une photo (ou un scan ou un fichier) de leur travail. Ceci simplifie la tâche de l’évaluateur car il peut se concentrer sur une seule et même question pour tous les étudiants.es, sans connaître le reste de leur évaluation ou leur identité. L’équité dans l’évaluation de tous les étudiants.es s’en trouve donc grandement améliorée. De plus, il est possible de construire, de maintenir et d’appliquer une même grille d’évaluation pour une même question, applicable par tous les membres de l’équipe d’évaluation.

Plusieurs outils sont à notre disposition pour évaluer une question. Il est possible d’ajouter des commentaires. Ces commentaires supportent habituellement le Markdown et LaTeX, ce qui donne une flexibilité extraordinaire à l’évaluateur. Ces commentaires sont enregistrés, réutilisables et modifiables par tous les évaluateurs. Il est donc possible de donner des rétroactions extrêmement précises pour donner aux étudiants.es les raisons exactes pour lesquelles des points ont été ajoutés ou déduits. Sur une évaluation habituelle sur papier, il peut devenir long et difficile de réutiliser le même commentaire à plusieurs reprises. Les rétroactions en souffrent donc. Sur une plateforme d’évaluation en ligne, il est possible de réutiliser à l’infini un commentaire.

Mais il y a plus, ces commentaires peuvent être accompagnés d’une pondération. Un commentaire peut donc ajouter ou enlever des points selon la situation. Mais puisque ces commentaires sont modifiables, il est possible, à tout moment, de modifier une pondération si l’évaluateur avait mal évalué celle-ci. La plupart des évaluateurs vous le diront, il peut arriver de devoir modifier la pondération de plusieurs copies suite à une réévaluation de la pondération. Sur les versions papiers, le travail consiste à revoir toutes les copies où un changement peut être envisagé et d’ensuite faire les modifications. Sur une plateforme en ligne, le changement de pondération ou la modification d’une rétroaction se fait à un seul endroit et ces modifications sont ensuite automatiquement appliquées pour toutes les évaluations concernées.

Il est également possible d’écrire ou de dessiner (préférablement avec un stylet, mais la souris est une alternative possible) directement sur la copie. L’utilisation de symboles divers est habituellement possible, comme le crochet, la croix, le point d’interrogation, etc.

L’IA

Sur certaines plateformes, il est parfois possible d’utiliser l’IA (ou Intelligence Artificielle), pour regrouper les réponses semblables en blocs, blocs qui pourront être évalués un à un. Ceci permet de diminuer les redondances dans la correction, de sauver du temps et de donner une rétroaction de grande qualité même pour un grand nombre d’étudiants.es. La technologie est par contre embryonnaire et ne s’applique qu’à un nombre restreint de situations. Par exemple des diagrammes simples de molécules ou des expressions mathématiques courtes.

Les résultats de l’évaluation

Retourner les notes aux étudiants.es

Une fois la correction terminée, il est possible d’envoyer les notes aux étudiants.es, en un seul clic. Il est également possible d’envoyer la copie annotée, contenant tous les commentaires, tous les symboles et toutes les pondérations ajoutées par les évaluateurs. Cette copie devient donc un outil précieux qui permet aux étudiants.es de comprendre très exactement leurs erreurs. Ceci permet également de simplifier le processus de révision de notes car il est habituellement possible de le faire par l’entremise de la plateforme choisie.

Analyser les notes

Puisque chaque question peut être créée indépendamment, il est possible d’obtenir des statistiques précises sur chacune d’entres elles. Il devient ensuite simple de connaître la moyenne ou la médiane de chaque question, le nombre d’étudiants.es l’ayant réussie ou échouée, etc. Ces informations permettent de bonifier les évaluations et l’enseignement car elles montrent les forces et les faiblesses des étudiants.es.

Conclusion

Comme cet article permet de le constater, l’évaluation en ligne est possible. Elle comporte même plusieurs avantages par rapport à l’évaluation papier, particulièrement au niveau de la rétroaction. Par contre, du travail supplémentaire est demandé à l’enseignant.e pour débuter dans ce type d’évaluation. Mais malgré cet effort supplémentaire, nous suggérons de tenter au moins une fois l’expérience.

De plus, ces plateformes ont été pensées pour qu’on puisse les utiliser même lorsque l’évaluation se fait en classe sur des copies papier. La manière de faire de ces deux plateformes est un peu différente mais l’idée de base reste la même. L’évaluateur crée une évaluation et il doit construire un gabarit d’examen qu’il devra enregistrer sur la plateforme. La plateforme lui produira ensuite des copies papier de cette évaluation à distribuer aux étudiants.es. Il faut ensuite scanner ces copies, les téléverser sur la plateforme et il est maintenant possible d’utiliser tous les outils discutés dans cet article.

GRIÉMÉtic (28 février 2021) Les plateformes d’évaluation en ligne. Retrieved from https://griemetic.ca/fr/2020/08/31/les-plateformes-devaluation-en-ligne/.
"Les plateformes d’évaluation en ligne." GRIÉMÉtic - 28 février 2021, https://griemetic.ca/fr/2020/08/31/les-plateformes-devaluation-en-ligne/
GRIÉMÉtic 31 août 2020 Les plateformes d’évaluation en ligne., viewed 28 février 2021,<https://griemetic.ca/fr/2020/08/31/les-plateformes-devaluation-en-ligne/>
GRIÉMÉtic - Les plateformes d’évaluation en ligne. [Internet]. [Accessed 28 février 2021]. Available from: https://griemetic.ca/fr/2020/08/31/les-plateformes-devaluation-en-ligne/
"Les plateformes d’évaluation en ligne." GRIÉMÉtic - Accessed 28 février 2021. https://griemetic.ca/fr/2020/08/31/les-plateformes-devaluation-en-ligne/
"Les plateformes d’évaluation en ligne." GRIÉMÉtic [Online]. Available: https://griemetic.ca/fr/2020/08/31/les-plateformes-devaluation-en-ligne/. [Accessed: 28 février 2021]

Utiliser des questions à choix multiples pour automatiser la rétroaction

Nathalie Loye, Université de Montréal

Dans les cours à distance, établir un contact régulier et de qualité avec les apprenants pose de réels défis. Par exemple, le fait de fournir une rétroaction aux étudiants, qu’elle soit individuelle ou collective, fait partie naturellement des cours en présentiel. Dans le cas des cours à distance, il faut planifier les manières de guider les apprentissages de manière efficace. Les options technologiques qui permettent des échanges individuels et collectifs sont nombreuses. Les courriels, les échanges de travaux écrits que le professeur peut annoter, les rencontres en visioconférence, l’utilisation du chat ou d’un forum sont des exemples qui permettent de telles interactions. Tous ces exemples demandent toutefois un travail important au professeur et dans certains cas l’effort cognitif nécessaire pour rencontrer les étudiants en grand groupe, sous-groupes ou de manière individuelle est grand pour chacun des participants.

Nous proposons ici d’utiliser les technologies afin d’automatiser certaines tâches de rétroaction aux étudiants. L’une des possibilités consiste en effet à proposer des questions à choix multiples aux étudiants en considérant que chaque choix de réponse est (1) assorti d’un commentaire explicatif automatique lorsqu’il est choisi et (2) corresponde à des erreurs propices à fournir des explications utiles pour guider les apprentissages.

Nous nous inspirons ici de la méthode proposée par King et collègues en 2011. Ces auteurs proposent un guide pour élaborer et apprécier les choix de réponse dans des questions à correction objective. Leur visée est diagnostique puisqu’ils proposent

  • de faire des listes d’erreurs possibles et de s’en inspirer pour rédiger des choix de réponse,
  • puis d’identifier les raisons des erreurs et de les organiser en une taxonomie.

Le tableau 1 illustre une telle taxonomie comportant 4 niveaux pour la compréhension d’un élève en lecture, les niveaux sont ordonnés en commençant par une compétence peu développée pour aboutir à une compétence développée permettant de trouver la bonne réponse.

Tableau 1. Exemple de taxonomie en lecture (King, et al., 2004, p. 6 – traduction libre)

Niveau de compréhension de l’élèveErreurs de l’élève
Niveau 1Erreurs en lien avec le décodage du texte.
– Connaissance préalable non basée sur la lecture du texte
– Information tirée du texte, mais pas reliée à la question
Niveau 2Erreurs témoignant d’une certaine compréhension du texte
-Incapacité à relier les informations entre elles
– Conclusion ou inférence erronée
Niveau 3Erreurs témoignant d’un niveau de réflexion et d’interprétation
-Propose une partie de la bonne réponse
-Vision trop étroite ou trop large
Niveau 4Réponse correcte

Ils proposent ensuite des exemples de questions dans lesquels les choix sont catégorisés dans l’un ou l’autre des niveaux (traductions libres).

Exemple 1

Exemple 2

Exemple 3

Personnellement j’utilise cette approche dans mon cours de méthodes quantitatives en ligne aux cycles supérieurs. Dans la plateforme (StudiUM), j’utilise les choix multiples de manière formative sans qu’ils fassent partie de l’évaluation du cours. Chaque choix correspond à un commentaire, certaines questions peuvent avoir plus de choix de réponse que d’autres, et j’autorise les étudiants à revenir sur leur réponse après avoir reçu le commentaire de manière à les laisser libres de naviguer dans les commentaires. Il est vrai qu’il y a un certain travail pour organiser cette évaluation formative, mais par la suite la rétroaction se fait sans mon intervention.

Références

King, K.V., Gardner, D.A., Zucker, S. & Jorgensen, M.A. (2004).. The distractor rationale taxonomy: Enhancing multiple-choice items in reading and mathematics. Assessment report available from Pearson education at: https://images.pearsonassessments.com/images/tmrs/tmrs_rg/Distractor_Rationales.pdf?WT.mc_id=TMRS_The_Distractor_Rationale_Taxonomy_Enhancing

GRIÉMÉtic (28 février 2021) Utiliser des questions à choix multiples pour automatiser la rétroaction. Retrieved from https://griemetic.ca/fr/2020/07/15/utiliser-des-questions-a-choix-multiples-pour-automatiser-la-retroaction/.
"Utiliser des questions à choix multiples pour automatiser la rétroaction." GRIÉMÉtic - 28 février 2021, https://griemetic.ca/fr/2020/07/15/utiliser-des-questions-a-choix-multiples-pour-automatiser-la-retroaction/
GRIÉMÉtic 15 juillet 2020 Utiliser des questions à choix multiples pour automatiser la rétroaction., viewed 28 février 2021,<https://griemetic.ca/fr/2020/07/15/utiliser-des-questions-a-choix-multiples-pour-automatiser-la-retroaction/>
GRIÉMÉtic - Utiliser des questions à choix multiples pour automatiser la rétroaction. [Internet]. [Accessed 28 février 2021]. Available from: https://griemetic.ca/fr/2020/07/15/utiliser-des-questions-a-choix-multiples-pour-automatiser-la-retroaction/
"Utiliser des questions à choix multiples pour automatiser la rétroaction." GRIÉMÉtic - Accessed 28 février 2021. https://griemetic.ca/fr/2020/07/15/utiliser-des-questions-a-choix-multiples-pour-automatiser-la-retroaction/
"Utiliser des questions à choix multiples pour automatiser la rétroaction." GRIÉMÉtic [Online]. Available: https://griemetic.ca/fr/2020/07/15/utiliser-des-questions-a-choix-multiples-pour-automatiser-la-retroaction/. [Accessed: 28 février 2021]

Surveiller ses étudiants à distance pendant un examen

Nathalie Loye et Pierre Gignac

Lorsqu’un professeur donne un cours à distance, l’évaluation soulève de très nombreux défis. L’un de ces défis consiste à contrôler la passation des examens. Dans un cours en présentiel, généralement le professeur, ses assistants ou des surveillants engagés spécialement pour ce travail, assurent la surveillance de la salle d’examens. Ils peuvent ainsi contrôler l’identité des étudiants, s’assurer qu’ils ne communiquent pas entre eux et ne trichent pas. Ils peuvent également éviter qu’ils ne gardent des traces des questions d’examen en contrôlant le matériel auquel ils ont accès (par exemple : interdire les téléphones, fournir les copies et les feuilles de brouillons et tout ramasser à la fin de l’examen). Ce type d’examen prend le plus souvent la forme d’examens écrits constitués de questions à correction objective comme des questions à choix multiples ou dont les réponses nécessitent un développement plus ou moins long (par exemple : problèmes complexes, réflexions critiques, études de cas, etc.).

D’un point de vue pratique, ce type d’examen peut facilement être proposé à distance aux étudiants. Une variété de plateformes utilisées pour l’enseignement (aussi appelées LMS pour Learning Management System; par exemple Moodle, StudiUM) ou de plateformes dédiées (par exemple ExamSoft ou Netquiz) permet d’y reproduire les questions et de les soumettre aux étudiants à un moment choisi, avec un accès individuel et pendant une durée contrôlée. Dans le cas de questions à réponses objectives, ces plateformes assurent en outre la correction de manière automatique.

La question qui se pose est de savoir comment s’assurer de l’identité des étudiants, et surveiller la passation de l’examen comme on le ferait dans la salle d’examen. C’est ce qu’on appelle le proctoring.

Le proctoring est un processus qui permet de superviser les étudiants qui passent un examen à distance en utilisant une caméra vidéo, un enregistrement du son et un accès à leur écran. Cette surveillance peut se faire de trois manières :

  • Par un humain en temps réel en utilisant l’audio, la vidéo et le partage d’écran,
  • Par un humain qui a accès par la suite aux enregistrements audio, vidéo et de l’écran,
  • De manière automatisée grâce à l’analyse des données massives (analytics) générées par la surveillance audio, vidéo et des écrans.

Des logiciels comme SafeExamBrowser[1] peuvent en outre prendre le contrôle de l’ordinateur des étudiants pendant la passation de l’examen afin de le transformer en un poste de travail sécurisé. Ces logiciels peuvent par exemple bloquer la navigation sur Internet ou l’impression, contrôler les menus accessibles, empêcher de lancer d’autres applications durant la passation de l’examen ou de prendre des captures d’écran (voir Foster, 2013 pour plus de détails). Cette surveillance est un créneau lucratif que de nombreuses entreprises exploitent, il existe en conséquence de multiples options, dont la plupart sont payantes et dont le coût dépend souvent du nombre d’étudiants à surveiller.

Le tableau 1 montre cette variété et regroupe divers classements disponibles sur le web (liens en fin d’article).

Note. Les classements dans le tableau sont à titre informatif, et dépendent des critères utilisés par l’évaluateur. Consulter le site de l’évaluateur pour les détails.

Le site de METTL[2]  propose une comparaison des caractéristiques de 5 logiciels souvent mentionnés. Le tableau 2 présente certaines de ces caractéristiques. Il met en évidence la variété de ces logiciels de surveillance.

Tableau 2. Comparaisons de 5 logiciels en fonction de quelques caractéristiques (traduction libre)

Caractéristiques du proctoringPSIMETTLPROCTORUEXAMITYVERIFICIENT
Utilisation de l’IA (Analytics)NonOuiMinimaleMinimaleOui
Intégration au LMSOuiOuiOuiOuiOui
Authentification des candidats en 3 pointsMinimalOuiMinimalNonOui
Enregistrement et accès ultérieurOuiOuiOuiOuiOui
Surveillance par un humainOuiOuiNonNonNon
Rapport automatiqueOuiOuiOui
Production d’un score d’intégritéNonOuiNonNonOui
Blocage des fureteurs de l’ordinateurOuiOuiOuiOuiOui

Il est clair que l’utilisation de tels logiciels pose de nombreux défis techniques notamment liés à l’intégration informatique au LMS ou à la plateforme utilisée pour l’examen. En conséquence, elle dépend généralement des institutions plutôt que des choix personnels des professeurs. Il est toutefois utile pour eux de savoir que de telles solutions technologiques existent.

En outre, les professeurs ne doivent pas oublier que mettre en pratique des stratégies préventives pour assurer l’intégrité est aussi très important, que l’on ait ou pas recours au proctoring. Ainsi assigner les questions de manière aléatoire aux candidats ou selon un ordre aléatoire permet d’éviter que les étudiants communiquent entre eux pour partager leurs réponses pendant l’examen, limiter le temps de réponse, empêcher les étudiants d’entrer plusieurs fois dans le même examen, ajouter au moins une question nécessitant un développement et varier le type de question sont aussi des stratégies à considérer dans les examens[3]. Ces stratégies sont utiles pour limiter les possibilités de tricherie[4].

Sites utilisés pour le classement des applications de proctoring

Best Online Exam Proctoring Software to Look Up

Top ten (11 listed) online test software solutions

Online Proctoring Services for Higher Education market

Best Exam Software for your business.

Best online Exam Software with remote proctoring

Références

Alessio, H. M., Malay, N., Maurer, K., Bailer, A. J., & Rubin, B. (2017). Examining the effect of proctoring on online test scores. Online Learning, 21(1), 146-161.

Daffin, Jr., L.W., & Jones, A.A. (2018). Comparing student performance on proctored and nonproctored exams in online psychology courses. Online Learning, 22(1), 131-145. doi:10.24059/olj.v22i1.1079

Foster, D. (2013) Online Proctoring Systems Compared, Caveon Test Security, Harry Layman, The College Board. Accessible à https://scholar.google.ca/scholar?hl=fr&as_sdt=0,5&q=%22Online+Proctoring+Systems+Compared%22

Steger, D., Schroeders, U., & Gnambs, T. (2020). A meta-analysis of test scores in proctored and unproctored ability assessments. European Journal of Psychological Assessment, 36(1), 174–184. https://doi.org/10.1027/1015-5759/a000494

Weiner, John A., & Gregory M. Hurtz. (2017). A comparative study of online remote proctored versus onsite proctored high-stakes exams, Journal of Applied Testing Technology 18(1), 13-20.

références

Reisenwitz, T. H. (2020). Examining the Necessity of Proctoring Online Exams. Journal of Higher Education Theory and Practice20(1).

Heilporn, G., & Denis, C. (2020). Dispositifs d’évaluation en ligne: des recommandations de la littérature scientifique à des décisions précipitées en pratique. e-JIREF, (1), 165-172. http://journal.admee.org/index.php/ejiref/article/view/229

Woldeab, D., & Brothen, T. (2019). 21st Century assessment: Online proctoring, test anxiety, and student performance.

Whitepaper online proctoring (avril 2020, donne des enjeux à considérer, du moins selon la table des matières) https://www.surf.nl/en/white-paper-online-proctoring-questions-and-answers-about-remote-proctoring

Report on Remote Assessment Procedures. Impact Study and Recommendations on the Implementation of Remote Assessment Procedures in Spanish Universities (avril,2020, discute d’évaluation en ligne, pas de proctoring ) https://library.educause.edu/resources/2020/4/report-on-remote-assessment-procedures


[1] https://safeexambrowser.org/about_overview_en.html

[2]  https://blog.mettl.com/assessment-technology/top-5-proctoring-solution-providers

[3] https://www.memphis.edu/um3d/resources/assessments.php

[4] Voir la section sur la tricherie dans ce site.

GRIÉMÉtic (28 février 2021) Surveiller ses étudiants à distance pendant un examen. Retrieved from https://griemetic.ca/fr/2020/07/15/surveiller-ses-etudiants-a-distance-pendant-un-examen/.
"Surveiller ses étudiants à distance pendant un examen." GRIÉMÉtic - 28 février 2021, https://griemetic.ca/fr/2020/07/15/surveiller-ses-etudiants-a-distance-pendant-un-examen/
GRIÉMÉtic 15 juillet 2020 Surveiller ses étudiants à distance pendant un examen., viewed 28 février 2021,<https://griemetic.ca/fr/2020/07/15/surveiller-ses-etudiants-a-distance-pendant-un-examen/>
GRIÉMÉtic - Surveiller ses étudiants à distance pendant un examen. [Internet]. [Accessed 28 février 2021]. Available from: https://griemetic.ca/fr/2020/07/15/surveiller-ses-etudiants-a-distance-pendant-un-examen/
"Surveiller ses étudiants à distance pendant un examen." GRIÉMÉtic - Accessed 28 février 2021. https://griemetic.ca/fr/2020/07/15/surveiller-ses-etudiants-a-distance-pendant-un-examen/
"Surveiller ses étudiants à distance pendant un examen." GRIÉMÉtic [Online]. Available: https://griemetic.ca/fr/2020/07/15/surveiller-ses-etudiants-a-distance-pendant-un-examen/. [Accessed: 28 février 2021]

Présentation d’une modalité d’évaluation inclusive en présentiel ou en ligne : une tâche complexe et authentique selon les principes de la CUA

Micheline Joanne Durand, professeure, Université de Montréal

mj.durand@umontreal.ca

L’application des pratiques de la CUA dans la mise en place d’une tâche complexe d’apprentissage et d’évaluation a été proposée aux étudiants des programmes en formation des maîtres inscrits au cours ETA1250 à partir de l’année 2015-2016. Il s’agit d’une tâche où les trois principes de la CUA (cités précédemment) sont utilisés de façon interreliée. Le déroulement du développement de cette modalité d’évaluation sera décrit ainsi que les ajustements apportés au cours des années suivantes où le cours s’est donné en présentiel et en ligne.

L’élaboration de cette tâche complexe s’est réalisée avec une équipe de chargés de cours accompagnée d’un membre des services à l’enseignement de l’université ainsi que de la chercheure. Il s’agissait de concevoir des modalités d’évaluation qui répondraient aux exigences du cours c’est–à-dire : Compréhension des enjeux actuels de l’école québécoise en rapport avec les finalités, la nature et la démarche de l’évaluation. Appropriation critique des différents documents ministériels prescrits. Lors de la première mise à l’essai du nouveau cours ETA1250, un des modalités d’évaluation prenait la forme d’une activité synthèse individuelle qui permettrait de cerner la compréhension des étudiants des enjeux actuels de l’évaluation au Québec. Elle avait une pondération de 40%. Il s’agissait de réaliser une carte conceptuelle sur une feuille de format ledger (279 x 432 mm ou 11,0 x 17,0 po) lors de la dernière séance de cours, d’une durée de trois heures, en salle de classe sous la supervision de l’enseignant. Toutes les notes de cours ainsi que le manuel du cours pouvaient être consultés. Différents problèmes sont ressortis notamment dans le questionnaire administré par l’université relatif à l’évaluation de l’enseignement. Ce qui a mené l’équipe des chargés de cours, à la suite de la première année d’expérimentation, a apporté quelques ajustements aux modalités d’évaluation inscrites dans le Plan de cours.

Premièrement, certains étudiants ont exprimé un sentiment d’insatisfaction car ils se sentaient comprimé dans les trois heures du cours (durée) dans un local où la place occupée est restreinte et où les conditions climatiques n’étaient pas toujours favorables en cas de chaleur intense ou froidure, par exemple, (environnement). Il a alors été convenu que la tâche à réaliser pourrait être effectuée en dehors des séances de cours en classe pour laisser le temps nécessaire à l’étudiant de remettre un travail de qualité dans un environnement plus serein.

Deuxièmement, la carte conceptuelle amène l’étudiant à représenter de différentes façons les concepts et les liens entre eux. Plusieurs manipulations sont nécessaires pour en arriver à une illustration satisfaisante. Les étudiants considéraient que le crayon et l’efface n’étaient pas toujours les meilleurs outils pour remettre un travail propre qui représentait bien leur carte conceptuelle. L’utilisation de fiches autocollantes (Post-it) pouvait améliorer la situation mais ce matériel n’était pas indiquer au départ dans les consignes. Après discussion avec les chargés de cours, il a été recommandé que, les étudiants puissent intégrer les technologies et réaliser leur carte conceptuelle à l’aide d’un logiciel tel que Cmap tool. Cette formalité ajoutée à la précédente rendait les étudiants plus efficaces car ils pouvaient utiliser leur équipement personnel pour réaliser le travail demandé selon la durée et l’environnement souhaité.

Troisièmement, la carte conceptuelle est certes un bon instrument pour évaluer les étudiants (Tardif, 2006, Morin, 2018) mais tous ne sont pas familiers et à l’aise avec ce type de représentation. Le niveau d’engagement de l’étudiant variant selon sa motivation et celle-ci est plus grande lorsque l’étudiant a le choix de ses travaux. Il a alors été convenu que trois modalités d’évaluation seraient proposées ce qui permettrait de mobiliser des ressources différentes (affective, conative, cognitive ou métacognitive.) mais qui seraient évaluées selon les mêmes exigences. La figure suivante, Figure 1, illustre ce qui a été proposé aux étudiants inscrits au cours ETA1250, depuis la deuxième année d’expérimentation, soit l’année scolaire 2016-2017. Cette nouvelle proposition était accompagnée d’une grille d’évaluation où l’étudiant pouvait s’assurer des exigences requises pour chacun des critères d’évaluation. Elle était disponible dès le début de la session et les étudiants ont eu la possibilité, pendant les foires aux questions en début de chaque cours (FAQ), de poser des questions d’éclaircissement ou de compréhension pendant toute la durée de la session. L’enseignant avait l’occasion, de cette manière, de réguler les apprentissages des étudiants et de les conforter ou confronter dans leurs façons de faire. Le travail était à remettre à la fin du dernier cours sur la plateforme du cours.

Consignes aux étudiants :
Le travail de session a pour but d’évaluer votre compréhension des enjeux actuels de l’évaluation des apprentissages dans le système scolaire au Québec. Vous pouvez choisir entre trois formats : la carte conceptuelle, la réflexion critique ou le feuillet d’information pour répondre à la question : Sur quoi est basée l’évaluation des apprentissages dans le système scolaire au Québec? (autrement dit, qu’est-ce qu’on évalue aujourd’hui? pourquoi on l’évalue? comment peut-on l’évaluer?
1-      Pour la carte conceptuelle : Sélectionnez les 30 concepts (notions) les plus pertinents pour répondre à la question et établissez les liens hiérarchiques entre eux. Vous pouvez faire votre travail en en utilisant un logiciel de carte conceptuelle, (Cmap Tools par exemple), pour créer la carte.
2-       Pour la réflexion critique : Parmi les thématiques travaillées dans le cadre du cours, sélectionnez trois idées pertinentes pour répondre à la question. Argumentez chacune des idées en insérant des citations du livre pour appuyer vos propos. Par ex : d’après vous, quelles sont les avantages et les inconvénients de la façon d’évaluer les compétences des élèves aujourd’hui? Quel est le rôle de l’enseignant? etc. Concluez en faisant un lien avec vos prochains stages. Vous pouvez faire votre travail à l’aide d’un logiciel de traitement de texte et utilisez un correcteur (Antidote, par exemple).
3-      Pour le feuillet d’information : Sélectionnez 5 idées les plus pertinentes pour répondre à la question et expliquer-les à l’aide d’exemples;
Vous pouvez avoir jusqu’à 4 pages pour ce feuillet, trois colonnes par page. Vous pouvez également ajouter les images pour personnaliser votre travail. Vous pouvez faire votre travail à l’aide d’un logiciel de mise en plage (Microsoft Publisher ou Scribus, par exemple).
 Figure 1 : Les trois types de modalités d’évaluation inclusives

Puis, après deux années d’expérimentation, une nouvelle consigne a été ajoutée afin de recueillir la perception des étudiants, inscrits au cours lors de l’année 2017-2018, sur la raison de leur choix parmi les trois modalités offertes. De plus, la pondération a aussi été modifiée en raison des autres travaux demandés. En effet, au lieu de trois travaux demandés la première année ayant respectivement une pondération de 30%, 30% et 40%, deux travaux sont actuellement demandés représentant une pondération de 30% et de 70%. Cette modification a été rendue nécessaire pour se conformer davantage à des exigences réalistes d’un cours de un crédit sur cinq séances. Le travail comportant les trois modalités d’évaluation est donc passé de 40 à 70%.

Portrait du choix des étudiants en regard des trois modalités d’évaluation.

Il a ainsi été possible de récolter, auprès de certains chargés de cours volontaires[2], les travaux de plus de 400 étudiants ce qui a permis de dresser quelques résultats préliminaires quant au choix du format selon quatre programme : Baccalauréat en éducation préscolaire et enseignement primaire (BEPEP), le baccalauréat en enseignement en adaptation scolaire (BEAS), les 5 baccalauréats en enseignement secondaire (BES) et le baccalauréat en éducation physique et à la santé (BEPS). Des résultats obtenus auprès de tous les groupes pourront être obtenus au cours des prochaines années.

ProgrammeNb. de groupesNombre d’étudiants%
BÉPEP2 sur un total de 712731,5
BEAS4 sur un total de 418445,7
BES (5 programmes)2 sur un total de 25814,4
BÉPS1 sur un total de 1348,4
Total9 sur un total de 14403100,0

Tableau 1 : Nombre d’étudiants pour chacun des programmes de baccalauréat

Par la suite, le nombre d’étudiants qui avait choisi chacun des formats a été calculé, soit 1- la carte conceptuelle ; 2, la réflexion critique et 3- le feuillet d’information. Le tableau 2 indique que plus de la moitié des étudiants ont choisi la carte conceptuelle ce qui confirme notre première idée de modalité d’évaluation.

Format choisiNombre d’étudiants%
1Carte conceptuelle20851,6
2Réflexion critique12731,5
3Feuillet6816,9
Total403100,0

Tableau 2 : Nombre d’étudiants pour chacun des choix de format de la modalité d’évaluation

Il a ensuite été observé la présence de disparités dans le choix des formats selon les programmes où la carte conceptuelle était la modalité la plus populaire dans trois programmes sur 4. La figure 2 illustre les résultats récoltés.

Figure 2 : Choix des formats selon les programmes du baccalauréat en enseignement

Dans la majorité des programmes, soit trois sur quatre, les étudiants choisissent de façon marquée la carte conceptuelle comme premier choix. Chez les étudiants du BEPEP (nb=86) et du BEPS (nb=23), c’est plus de 68% d’entre eux (nb=211) tandis que chez les étudiants du BEAS, c’est 49% d’entre eux (nb=90). Les étudiants du BES quant à eux choisissent majoritairement la réflexion critique à 74% (nb=43).

Justification du choix de format des étudiants

Au-delà de ces choix, c’est la justification de ceux-ci qui révèlent des données sur la motivation et l’engagement des étudiants. Lors de la quatrième année d’implantation, il a été demandé à certains étudiants de justifier leur choix c’est-à-dire de justifier les raisons de leur choix. Il a ainsi été possible de récolter ces informations pour des étudiants du baccalauréat en éducation physique (BÉPS) et du baccalauréat en enseignement en adaptation scolaire (BEAS)[3]. On retrouve deux tendances  dans le contenu analysé: on y décrit le choix du format en indiquant les aspects qu’il permet d’exposer ou on le décrit en fonction des avantages ressentis en comparaison des deux autres choix offerts. Voici quelques verbatim qui illustrent bien ces deux tendances dans chacun des trois formats :

Carte conceptuelle-E1-BÉPS « J’ai choisi de faire une carte conceptuelle car je trouve très pertinent de mettre les idées-clés de l’évaluation des apprentissages en quelques mots. En choisissant un maximum de 30 concepts, ce travail nous force à réfléchir davantage et à être très précis dans nos choix. De plus, cette carte est un outil idéal pour mémoriser rapidement le sujet traité. Ainsi, je peux encoder l’information dans ma mémoire à long terme beaucoup plus facilement qu’un texte de plusieurs pages. Enfin, je pense réutiliser l’outil Cmap pour d’autres projets en raison de sa simplicité et de son utilité.

Carte conceptuelle-E11-BÉPS « J’ai choisi de faire une carte conceptuelle parce que j’ai de la difficulté à être concise dans mes études lorsque j’écris des textes. Je trouvais donc que les contraintes pour le texte et la brochure allaient possiblement me poser problème. De plus, la carte conceptuelle n’est pas un outil que je suis habituée à utiliser lors de mes travaux et elle force à être concise dans les idées étant donné qu’il faut schématiser les concepts et les liens entre eux. Je trouvais donc que c’était un bon défi pour moi et cela me permettrait de mettre de l’ordre dans mes idées. Finalement, la carte conceptuelle est très claire visuellement et permet de comprendre facilement et rapidement les concepts et les liens entre ceux-ci. »

Réflexion critique –E2-BÉPS « J’ai choisi de faire une réflexion critique parce qu’elle me permet d’élaborer plus en détails ma réflexion et les concepts autour de l’évaluation. Une carte conceptuelle permet de mettre en relation des concepts mais ne permet pas une grande élaboration de ceux-ci. Un feuillet d’information doit contenir de l’information vulgarisée. En choisissant la réflexion, je peux m’exprimer avec plus de liberté qu’avec la carte conceptuelle ou le feuillet d’information.»

Réflexion critique-E15-BEAS « La réflexion critique permet selon moi un niveau de compréhension et une acquisition des connaissances plus grande. Cela nous permet de repasser en revue toutes les compétences comprises dans ce cours. Devoir réfléchir, établir un compte rendu et mettre en œuvre ces acquisitions, nous permet par la suite de déduire une panoplie de points communs. Je préfère former un texte puisque mes idées se clarifient davantage et cela me permet d’établir un texte concis et clair. »

Dépliant- E18-BEAS- « J’ai choisi de faire un dépliant parce que l’option était attrayante visuellement. On peut s’amuser en ajoutant des images et en travaillant la mise en page. Il y a un côté créatif à ce travail. On ne doit pas simplement écrire des paragraphes. On doit rendre la chose attrayante pour les lecteurs. De plus, c’est un bon format à conserver dans mes affaires en tant que future enseignante.»

Dépliant-E22-BEAS « Dans le cadre de ce présent travail sur l’évaluation des apprentissages dans le système scolaire au Québec, le feuillet d’information a été adopté. Comparé au schéma conceptuel et à la réflexion critique, ce format permet de diffuser de l’information concise et structurée. Les données qui y sont véhiculées permettent à un individu ou à un ensemble de personnes de recevoir un minimum d’informations sur le sujet donné. Cet outil permettra de faire connaître au public les principes de base de l’évaluation des apprentissages de manière visuelle, accessible et peu coûteuse. »

Le fait que les résultats aient été obtenus auprès d’une partie seulement des étudiants présente une limite à cette analyse. Une collecte plus poussée des données pourrait permettre d’observer si le format choisi ou l’appartenance à un programme d’enseignement ont une influence sur les résultats scolaires des étudiants et de cerner si les modalités d’évaluation mises en place sont réellement inclusives. Ainsi, une recherche plus exhaustive pourrait porter sur cet objet. De la même façon, la grille servant à l’évaluation de ce travail pourrait être analysée afin d’assurer que le jugement est équitable pour les trois modalités d’évaluation proposées. Il sera alors possible d’examiner si les modalités d’évaluation mises en place favorisent la réussite scolaire des étudiants universitaires. Car si l’enseignement est inclusif, l’évaluation doit l’être aussi.

Ceci n’est pas nouveau puisque dès 1992 Perrenoud indiquait que les procédures ordinaires d’évaluation sont des freins au changement des pratiques pédagogiques. Plus récemment, Philion, Lebel et Bélair (2010) soulevaient deux principaux défis liés à l’application de la CUA en milieu universitaire. Le premier, nommé « la tâche professorale » explique que l’enseignement selon ce modèle demande un grand investissement en temps de la part des professeurs. Le second défi posé concerne la finalité des programmes universitaires. En effet, on s’interroge sur la façon d’appliquer une pédagogie inclusive tout en respectant les exigences des programmes. Parmi les préoccupations soulevées, « la prise en compte des différences individuelles des étudiants interroge indéniablement de nombreux membres du corps professoral universitaire, notamment en ce qui a trait aux mesures d’évaluation à mettre en œuvre et aux risques inhérents que celles-ci altèrent la finalité des programmes » (Philion, Lebel et Bélair, 2010, p.8).

Dans ce contexte, le processus de modification du Plan de cours représente une première étape pour travailler avec des groupes d’enseignants, chargés de cours, afin d’appliquer des principes de la CUA tant dans l’enseignement que dans les modalités d’évaluation que les cours se donnent en présentiel ou à distance.

Références

Morin, M. (2018). Expérimentation de la cartographie conceptuelle comme dispositif de collecte de données en vue de l’évaluation des apprentissages. Thèse de doctorat Université de Montréal. https://papyrus.bib.umontreal.ca/xmlui/handle/1866/21830

Perrenoud, P. (1992). Différenciation de l’enseignement : résistances, deuils et paradoxes. Cahiers Pédagogiques, Paris. 306, p. 49–55.

Philion, R. ; Lebel, C. ; Bélair, L. Le modèle Universal Instructional Design au service de l’égalité des chances dans les universités canadiennes : apports, enjeux et défis, Éducation et socialisation, 2012,DOI : 10.4000/edso.780. http://journals.openedition.org/edso/780

Tardif, J., (2006). L’évaluation des compétences: documenter le parcours de développement. Montréal, Canada : Chenelière Éducation,


[1] Ce texte est le 3e d’une série traitant de l’évaluation formative/différenciation pédagogique et tâche complexe et authentique.

[2] Ce ne sont pas tous les chargés de cours qui ont appliqué cette consigne dans le Plan de cours lors de cette année scolaire.

[3] Résultats obtenus auprès des chargés de cours qui avaient intégré cette nouvelle consigne

GRIÉMÉtic (28 février 2021) Présentation d’une modalité d’évaluation inclusive en présentiel ou en ligne : une tâche complexe et authentique selon les principes de la CUA. Retrieved from https://griemetic.ca/fr/2020/07/15/presentation-dune-modalite-devaluation-inclusive-en-presentiel-ou-en-ligne-une-tache-complexe-et-authentique-selon-les-principes-de-la-cua1/.
"Présentation d’une modalité d’évaluation inclusive en présentiel ou en ligne : une tâche complexe et authentique selon les principes de la CUA." GRIÉMÉtic - 28 février 2021, https://griemetic.ca/fr/2020/07/15/presentation-dune-modalite-devaluation-inclusive-en-presentiel-ou-en-ligne-une-tache-complexe-et-authentique-selon-les-principes-de-la-cua1/
GRIÉMÉtic 15 juillet 2020 Présentation d’une modalité d’évaluation inclusive en présentiel ou en ligne : une tâche complexe et authentique selon les principes de la CUA., viewed 28 février 2021,<https://griemetic.ca/fr/2020/07/15/presentation-dune-modalite-devaluation-inclusive-en-presentiel-ou-en-ligne-une-tache-complexe-et-authentique-selon-les-principes-de-la-cua1/>
GRIÉMÉtic - Présentation d’une modalité d’évaluation inclusive en présentiel ou en ligne : une tâche complexe et authentique selon les principes de la CUA. [Internet]. [Accessed 28 février 2021]. Available from: https://griemetic.ca/fr/2020/07/15/presentation-dune-modalite-devaluation-inclusive-en-presentiel-ou-en-ligne-une-tache-complexe-et-authentique-selon-les-principes-de-la-cua1/
"Présentation d’une modalité d’évaluation inclusive en présentiel ou en ligne : une tâche complexe et authentique selon les principes de la CUA." GRIÉMÉtic - Accessed 28 février 2021. https://griemetic.ca/fr/2020/07/15/presentation-dune-modalite-devaluation-inclusive-en-presentiel-ou-en-ligne-une-tache-complexe-et-authentique-selon-les-principes-de-la-cua1/
"Présentation d’une modalité d’évaluation inclusive en présentiel ou en ligne : une tâche complexe et authentique selon les principes de la CUA." GRIÉMÉtic [Online]. Available: https://griemetic.ca/fr/2020/07/15/presentation-dune-modalite-devaluation-inclusive-en-presentiel-ou-en-ligne-une-tache-complexe-et-authentique-selon-les-principes-de-la-cua1/. [Accessed: 28 février 2021]

Analyser la qualité d’un questionnaire d’évaluation en ligne

Sébastien Béland (Université de Montréal)

Les questions permettant d’évaluer les bonnes et les mauvaises réponses des étudiants sont très populaires sur les plateformes pédagogiques en ligne. Cette catégorie de questions peut prendre plusieurs formes : choix de réponse multiple, vrai ou faux, questions à apparier, etc. Nous allons, dans ce qui suit, présenter succinctement trois stratégies permettant d’analyser la qualité du questionnaire utilisé : calculer la difficulté d’une question, calculer la capacité discriminante d’une question et estimer la fidélité des scores.

Préparer les données avant les analyses

Pour faciliter le travail, il est recommandé d’organiser les résultats d’évaluation à l’aide d’une matrice où les questions sont insérées en colonnes et où les bonnes (notées « 1 ») et mauvaises (notées « 0 ») réponses sont insérées en rangées. Un exemple de matrice prendrait la forme suivante dans une situation où dix étudiants ont répondu à quatre questions.

 Question 1Question 2Question 3Question 4
Étudiant 11010
Étudiant 21110
Étudiant 31110
Étudiant 41000
Étudiant 50000
Étudiant 60100
Étudiant 71010
Étudiant 81111
Étudiant 91100
Étudiant 101110

Les analyses qui suivent seront inférées à partir de cette matrice de résultats d’évaluation.

La difficulté d’une question

La difficulté d’une question peut prendre la forme d’une proportion qui se calcule en divisant le nombre de bonnes réponses à une question par le nombre total d’étudiants évalués. Ainsi, dans une situation où huit étudiants sur dix ont eu une bonne réponse à une question précise, la difficulté est égale à 8/10= ,8. Évidemment, si aucun étudiant n’a obtenu de bonne réponse à la question, l’indice est égal à zéro et il est égal à un si tous les étudiants ont réussi la question. La dernière rangée de la matrice de réponses suivante présente la valeur de la difficulté pour chacune des questions.

 Question 1Question 2Question 3Question 4
Étudiant 11010
Étudiant 21110
Étudiant 31110
Étudiant 41000
Étudiant 50000
Étudiant 60100
Étudiant 71010
Étudiant 81111
Étudiant 91100
Étudiant 101110
Difficulté,8,6,6,1

Nous constatons que la première question est la plus facile, car elle est réussie par 80% des étudiants. À l’opposé, la cinquième question est la plus difficile, car seulement un étudiant y a obtenu une bonne réponse. Un évaluateur pourrait décider de rejeter une question selon une difficulté qu’il considère inacceptable, par exemple dans le cas d’une question trop difficile pour le groupe d’étudiants évalué.

La capacité discriminante d’une question

On dira qu’une question discrimine bien si elle permet aux étudiants qui maîtrisent bien le contenu évalué de se distinguer de ceux qui ne maîtrisent pas le contenu évalué. Plusieurs stratégies permettent de calculer la capacité discriminante d’une question. La plus connue est celle qui utilise le coefficient de corrélation point-bisériale, qui corrèle la réponse à une question avec les scores totaux des étudiants au questionnaire (avec ou sans cet question). La dernière rangée de la matrice qui suit présente la valeur de la discrimination pour chacune des questions.

 Question 1Question 2Question 3Question 4
Étudiant 11010
Étudiant 21110
Étudiant 31110
Étudiant 41000
Étudiant 50000
Étudiant 60100
Étudiant 71010
Étudiant 81111
Étudiant 91100
Étudiant 101110
Difficulté,8,6,6,1
Discrimination,44,22,51,33

Il existe des barêmes pour estimer ce coefficient. Une valeur inférieure à zero indique que la question ne discrimine pas. Lorsque la valeur de la discrimination est située entre 0 et ,09, on dit que la question présente une très faible discrimination. La discrimination de la question est « faible » pour des valeurs entre ,10 et ,19; « modérée » pour des valeurs entre ,20 et ,29; « bonne » pour des valeurs entre ,30 et ,39; et « très bonne » si elle est au-dessus de ,40 (Laveault et Grégoire, 2014; Nunnaly et Bernstein, 1994). Selon ces valeurs, nous observons que la question deux présente une discrimination modérée et toutes les autres questions présentent des discriminations qualifiées de « bonne » ou « très bonne ».

La fidélité des scores

La fidélité des scores réfère à la capacité d’un questionnaire à générer peu d’erreur ou, pour le dire autrement, être précis[1]. Celle-ci est généralement estimée à l’aide d’un coefficient qui prend théoriquement une valeur entre zéro et un. Plus la valeur de ce coefficient approchera de la valeur de l’unité, plus on considérera que les scores au questionnaire sont « fidèles ». Une convention informelle, mais répandue, stipule qu’une valeur minimale de ,7 est nécessaire pour considérer qu’un questionnaire a une fidélité acceptable. Nous devons mentionner que ce ,7 n’est pas unanimement accepté dans la communauté en mesure et qu’une autre valeur minimale pourrait être acceptée, au besoin.

Nous avons utilisé deux coefficients pour estimer la fidélité des scores des réponses utilisée dans ce court article. D’abord, le coefficient alpha de Cronbach (1951) est égal à ,58 et le coefficient omega de McDonald (1985, 1999) est de ,64. Quoique légèrement différents, ces valeurs nous indiquent essentiellement la même chose : le questionnaire présente une précision limitée. Ainsi, il serait probablement pertinent de retravailler cette évaluation en ajoutant quelques questions et en s’assurant que les questions déjà utilisées sont bien écrites.

L’analyse de la qualité des questions à l’aide du logiciel JASP

         Les analyses précédentes ont été produites à l’aide de JASP, qui est offert en téléchargement gratuit à l’adresse suivante :

Après avoir intégré les résultats de l’évaluation dans le logiciel, il faut sélectionner l’onglet « Descriptives » et, ensuite, « Reliability Analysis » :

Ensuite, il faut sélectionner « Mean » pour calculer la difficulté des questions, « Item-rest correlation » pour calculer la discrimination des questions et « Cronbach’s  » ainsi que  « McDonald’s  » pour obtenir des estimations de la fidélité des scores.

Références

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334.

Laveault, D.et Grégoire, J.(2014).Introduction aux théories de tests en psychologie et en sciences de l’éducation(3eédition). Bruxelles: De Boeck Université.

McDonald, R. P. (1985). Factor analysis and related methods. Mahwah, NJ: Lawrence Erlbaum.

McDonald, R. P. (1999). Test theory: A unified treatment. Mahwah, NJ: Lawrence Erlbaum.

Nunnally, J.C. et Bernstein, I.H. (1994) The Assessment of Reliability. Psychometric Theory, 3, 248-292.


[1] L’information contenue dans cette section peut être obtenue de différentes façons. Nous allons uniquement traiter de la stratégie appelée « consistance interne ».

GRIÉMÉtic (28 février 2021) Analyser la qualité d’un questionnaire d’évaluation en ligne. Retrieved from https://griemetic.ca/fr/2020/07/15/analyser-la-qualite-dun-questionnaire-devaluation-en-ligne/.
"Analyser la qualité d’un questionnaire d’évaluation en ligne." GRIÉMÉtic - 28 février 2021, https://griemetic.ca/fr/2020/07/15/analyser-la-qualite-dun-questionnaire-devaluation-en-ligne/
GRIÉMÉtic 15 juillet 2020 Analyser la qualité d’un questionnaire d’évaluation en ligne., viewed 28 février 2021,<https://griemetic.ca/fr/2020/07/15/analyser-la-qualite-dun-questionnaire-devaluation-en-ligne/>
GRIÉMÉtic - Analyser la qualité d’un questionnaire d’évaluation en ligne. [Internet]. [Accessed 28 février 2021]. Available from: https://griemetic.ca/fr/2020/07/15/analyser-la-qualite-dun-questionnaire-devaluation-en-ligne/
"Analyser la qualité d’un questionnaire d’évaluation en ligne." GRIÉMÉtic - Accessed 28 février 2021. https://griemetic.ca/fr/2020/07/15/analyser-la-qualite-dun-questionnaire-devaluation-en-ligne/
"Analyser la qualité d’un questionnaire d’évaluation en ligne." GRIÉMÉtic [Online]. Available: https://griemetic.ca/fr/2020/07/15/analyser-la-qualite-dun-questionnaire-devaluation-en-ligne/. [Accessed: 28 février 2021]