Algorithme calcul notes dans l'activité atelier

Algorithme calcul notes dans l'activité atelier

par Véronique Pivon,
Nombre de réponses : 7

Bonjour,

certains étudiants qui ont été évalué par les pairs contestent leurs notes car ils ne comprennent pas l'algorithme mis en place.

En effet, la moyenne de leur note prend en compte la face "cachée"  d'un algorithme qu'ils souhaiteraient voir expliqué mieux que le message envoyé ci-dessous :

la note que vous donnez et celle que vous recevez tient compte, en plus de la somme de votre barème visible à l'écran ou de la moyenne des notes de vos correcteurs, de l'écart aux autres correcteurs pour chaque point du barème (invisible à l'écran). Une correction idéale est calculée, item par item, puis la "distance" à cette correction idéale ajuste votre note à l'ensemble des correcteurs de la copie.


Auriez-vous une autre explication que nous pourrions leur fournir, ou un exemple ou le détail de l'algorithme utilisé ?

Merci pour votre aide !

Bonne journée,

Véronique


Moyenne des évaluations  -
En réponse à Véronique Pivon

Re: Algorithme calcul notes dans l'activité atelier

par Paula CATERINO,
Avatar Moodleurs particulièrement utiles

Bonjour

je n'ai pas d'exemples précis ni connaissance du fameux algorithme mais on en parlait déjà ici : https://moodle.org/mod/forum/discuss.php?d=256046

Sinon, plus simplement si j'ai bien compris, chaque étudiant recoit deux notes :

  1. note accordée par l'enseignant sur le devoir ET moyenne des notes des pairs sur le devoir
  2. note sur la qualité de mon évaluation (peut également inclure une note donnée par l'enseignant)

Et pour chacune de ces notes, l'enseignant fixe un coefficient à chaque composante de la note avant que le calcul soit effectué.... donc il faudrait pour connaitre la formule chez vous tenir également compte de ce coefficient si vous l'avez paramétré ?

en tout cas, c'est une bonne question ... sourire

En réponse à Véronique Pivon

Re: Algorithme calcul notes dans l'activité atelier

par Jean FRUITET,

Alors qu'historiquement l'activité Atelier a été développée spécifiquement par Martin Dougiamas dans le cadre de ses travaux sur l'évaluation et en particulier l'évaluation par les pairs, très peu d'enseignants l'utilisent réellement.

Probablement d'une part parce qu'il est très compliqué d'en rendre la notation intelligible. Mais surtout parce que cela ne colle pas au modèle consacré (et largement surfait) de la "juste notation" qui permettrait une "évaluation objective".

Atelier fait partie de la préhistoire de Moodle, quand on s'imaginait que l'évaluation par les pairs pouvait être une bonne idée. Mais cela ne s'est pas accompagné d'une désacralisation de la "note" qui garde un poids exagéré dans la validation des études.

Si on tient absolument à faire fonctionner Atelier avec son mécanisme d'évaluation par les pairs il faut s'astreindre à :

- préciser les quelques critères d'évaluation (deux ou trois, pas plus)  dans le cahier des charges ;

- le barème est réduit à trois ou quatre valeurs :

 Hors sujet (0), Passable (1), Bien (2), Excellent (3) ;

- dissocier la notation de l'enseignant de celle des pairs (souvent bcp plus exigeants dans leur notation d'autrui) ; les deux ne devraient pas non plus porter sur le même domaine d'évaluation.

Car autant par exemple il est légitime de demander à un étudiant si la contribution d'un de ses pairs lui a été utile, lui a ouvert des perspectives, a renforcé sa compréhension d'une question, autant il n'est pas opérant de le placer en situation d'expertise pour évaluer la production de ses pairs.

Produire des notes n'est pas une activité anodine ; la légitimité de celui qui évalue est posée comme un principe intangible. Accepter l'évaluation par les pairs est en contradiction de ce préjugé.


Il me semble que l'évaluation des compétences, qui pose bien clairement la question de l'expert référent, est mieux adaptée à notre système éducatif et participe plus efficacement chez l'apprenant à la prise de conscience de ses réussites et de ses lacunes.





Moyenne des évaluations Utile (2)
En réponse à Jean FRUITET

Re: Algorithme calcul notes dans l'activité atelier - évaluation des compétences

par Séverin Terrier,
Avatar Documentation writers Avatar Moodleurs particulièrement utiles Avatar Testeurs Avatar Traducteurs

Bonjour Jean,

Et justement, l'enseignement (et l'évaluation j'imagine) basé sur les compétences est au programme pour Moodle 3.1 sourire

Séverin

En réponse à Véronique Pivon

Re: Algorithme calcul notes dans l'activité atelier

par Mario Calabrese,

Salut Véronique,

J'espère que tu vas bien et que tes projets avancent comme souhaité.


Je suis tombé sur ton post car je suis en train de finaliser un tuto sur l'activité Atelier et justement je voulais le compléter avec les critères de calcul des notes (au passage, le tuto est ici : https://insa-rouen.scenari-community.org/doc/ateliermoodle/index.html).

J'ai assez facilement trouvé l'algorithme (ou mieux, les algorithmes, il y en a un pour chaque stratégie d’évaluation) pour calculer la note sur le travail remis, à cette page
https://docs.moodle.org/25/en/Workshop_grading_strategies

Par contre, la modalité de calcul de la note pour le travail d'évaluation n'est pas connue. Je peux juste te renvoyer vers ces discussions où le développeur du plugin Atelier est directement intervenu
https://moodle.org/mod/forum/discuss.php?d=240009

https://moodle.org/mod/forum/discuss.php?d=153268

Ce que j'en retiens est :

  • parmi les différentes évaluations effectuées par les pairs, Moodle cherche à trouver la "meilleure" et lui donne la note maximale ;
  • ensuite il mesure la distance des autres évaluations par rapport à la meilleure, selon les cinq critères possibles dans l'action "recalculer les notes" ;
  • l'algorithme ne prend pas en compte les évaluations globalement, mais critère par critère (aspect par aspect dans la stratégie "évaluation cumulative") ;
  • pour que cela marche bien, il faut un nombre > 2 de corrections.

Dans la pratique, j'interviens dans la phase de notation des évaluations quand je vois qu'un même devoir a été noté de façon différente : je passe alors noter moi même ce devoir, en attribuant à ma notation un coefficient @2 (au moins). De cette manière, l'algo considère que ma notation est la "meilleure".

Ensuite j'évalue également la notation (pas le devoir) de la personne qui avait mal évalué son pair, et je recalcule les notes selon un critère "strict" ou "très strict".

De même, tu peux retrouver une évaluation pair fiable et lui donner un coefficient élevé, de façon à dire à Moodle que cette évaluation est la meilleure.

Ce n'est pas toujours évident de surveiller un atelier, surtout si on a un nombre important de participants (cette année j'avais une cohorte de 260 étudiants). Mais c'est très intéressant pédagogiquement, et les étudiants en général aiment bien.


HTH
Mario

Moyenne des évaluations Utile (3)
En réponse à Véronique Pivon

Re: Algorithme calcul notes dans l'activité atelier

par Coralie Bouffard,

Bonjour !

En travaillant avec une enseignante, nous nous sommes nous aussi heurtées au caractère obscur de la façon dont sont calculées les notes d'évaluation, et ce même en ayant consulté la formule de l'algorithme. Nous avons du coup passé plusieurs heures à faire des tests en situation contrôlée, afin de saisir le comportement des notations à l'atelier, pour en arriver à... notre point de départ, à savoir que même si on comprend la mécanique générale, il y a des inconnus qui demeurent.

D'où ma question, car l'enseignante souhaite vraiment contourner ce pb : y a-t-il un moyen de récupérer dans un fichier Excel toutes les notes de l'atelier (devoirs et évaluation) afin de pouvoir faire le post-traitement que l'on souhaite ?

Merci pour votre aide,
Coralie

Moyenne des évaluations Utile (1)
En réponse à Coralie Bouffard

Re: Algorithme calcul notes dans l'activité atelier

par Mario Calabrese,

Bonjour,

Hélas la réponse est non. Au moins, pas avec les méthodes conventionnelles. 

Dans le tracker il y a une issue ouverte depuis 2009 sur ce sujet, pour laquelle j'avais voté, mais toujours ouverte et en priorité basse
https://tracker.moodle.org/browse/MDL-20149 

Dans mon établissement nous allons travailler sur une requête BD (MySql dans notre cas) qui permettrait d'extraire ces données ; je vous ferai signe si on arrive à quelque chose d'exploitable (mais ce n'est pas pour demain).

Sinon il y a deux plugins que je teste actuellement (un va passer en prod) sur la notation de l'évaluation : https://moodle.org/plugins/?q=type:workshopeval 

Le "comparison with the weightiest assessment" est un peu plus clair sur le fonctionnement de la notation, mais oblige l'enseignant à passer derrière chaque évaluation pour décider quelle est la "weightiest" (ou alors noter lui/elle même, en se donnant un coefficient élevé).  

HTH
Mario

En réponse à Mario Calabrese

Re: Algorithme calcul notes dans l'activité atelier

par Coralie Bouffard,

Bonjour Mario,

Je vous remercie pour votre réponse !

Effectivement, ça m'intéresse beaucoup que vous donniez des nouvelles si vous mettez en place cette requête BD.

Par rapport aux autres pistes que vous donnez (plugins), je vais regarder ça de plus près, même si c'est une des difficultés dans mon cas : l'enseignante ne souhaite pas noter elle-même (car il s'agit d'ateliers impliquant plus de 200 étudiants).

Merci encore,

Coralie