Scénario de test après mise à jour

Scénario de test après mise à jour

par Caroline Tartary,
Nombre de réponses : 11

Bonjour à tous,

Je travaille sur une procédure pour que l'équipe TICE teste notre plateforme Moodle après une montée de version et/ou les mises à jour de plugins. Il est très difficile de faire le tour du sujet, et souvent on se rend compte des problèmes une fois qu'on a remis en production.

Pour l'instant on test : 

- connexion CAS + manuelle

- ajout d'un nouvel utilisateur

- création de cours

- duplication de cours

- sauvegarde/restauration

- ajout de fichiers par glisser-déposer

- création d'un dossier avec ajout de fichiers

- duplication de ressource / d'activités

Est-ce que vous procédez de la même manière ?

Bonne journée,

Caroline




Moyenne des évaluations  -
En réponse à Caroline Tartary

Re: Scénario de test après mise à jour

par Anne Garnavault Remy,

Bonjour Caroline,

On avait abordé ce sujet sur un Moodle Moot avec Luiggi et partagé nos expériences. Il faut que je retrouve...

Toutefois pour les mise a jour de plugin, je les test un à un en fonction de ce qui est annoncé dans la release du plugin.

Pour les mises à jour "mineures" de Moodle, pareil, je vérifie les nouvelle fonctionnalités en fonction de la liste fournie par le site Moodle.org .

Ensuite ont fait vérifications suivantes , entre autre :

- accès admin

- authentification ( cas ou shib selon la plateforme)

- Compte utilisateur

- charte graphique

- tableau de bord et accès cours ( on a des cours de test avec toutes les activités)

- tests ressources et activités les plus utilisées ( fichiers/devoir/quiz/h5p/...) - création/suppressions/duplication/modifications.

- tests achèvements/restrictions sur un scénario pédagogique complexe et plusieurs groupes et groupements

Sur la plateforme de test , avant la mise en prod, je propose aux ingénieurs pédagogiques de tester car c'est assez  difficile d'avoir des scénarios d'usages communs. Ils relèvent les dysfonctionnements éventuels et nous les transmettent. On fait cela pour la mise à jour annuelle ( changement de version Moodle). On suppose que les tests faits sont assez exhaustifs car les scénarios d'usage sont assez différents. Il reste parfois des modifications a faire à la marge,rarement sur des fonctionnalités largement utilisées,  y compris après la mise  en production...

Effectivement on ne peut pas tout voir , c'est quasi impossible et cela demande beaucoup (trop) de temps.

Je ne sais pas si je t'ai apporté un début de réponse...

Bon week end


Moyenne des évaluations Utile (3)
En réponse à Anne Garnavault Remy

Re: Scénario de test après mise à jour

par Olivier Valentin,
Avatar Développeurs de plugins Avatar Moodleurs particulièrement utiles

Bonjour Caroline,

pour ma part, c'est à peu près pareil que ce que propose Anne.

Mes tests sont généralement divisés en 3 :

  1. est-ce que les cours déjà existants fonctionnent toujours ?
    Pour cela, on a des "cours de références" qu'on vérifie correctement, pour voir s'ils fonctionnent bien. Cela peut concerner aussi bien les contenus (activités, ressources, blocs...) que leur scénarisation (invitations, suivis d'achèvement, groupes etc.).
  2. est-ce que je peux créer correctement ?
    Là, c'est simple, je crée un cours bidon, et je crée/modifie/supprime/duplique chaque activité / ressource disponible. Comme j'ai également toujours un cours qui me sert de bac à sable, les activités déjà en place me permettent de voir si les activités déjà créées peuvent être modifiées ou supprimées correctement.
  3. est-ce que le cœur fonctionne correctement ?
    Je réalise alors les fonctionnalités principales et primordiales : créer en paramétrer un cours, inviter (vérification des méthodes d'inscription et des rôles), tester un forum pour voir si les envois de notifications fonctionnent...
Après, mes tests ne s'arrêtent pas là : comme le dit Anne, un scénario commun est difficile à imaginer puisque tout va aussi dépendre des spécificités de chacun. Par exemple, pour ma part, je porte une grande attention sur la méthode d'inscription propre à mon université, qui permet de synchroniser le logiciel de gestion des étudiants avec Moodle pour créer des cohortes et les synchroniser. Idem pour le template, notamment pour les cours et les pages qui réorganisent un peu les blocs, ou pour Compilatio.
Il y a toujours aussi des plugins qu'on suit plus que d'autres, parce qu'ils sont très utilisés ou  parce qu'ils "craignent" un peu. Le bloc Quickmail (Courriel) a souvent été un peu à la bourre question mise à jour, je le surveille donc si jamais il n'est pas en adéquation avec ma version de Moodle.

Enfin, je surveille toujours les nouvelles fonctionnalités qui apparaissent à la fin de la mise à jour, qu'elles soient propre au cœur ou aux plugins. Il y a quelques fois des nouveautés auxquelles on ne prête pas attention et qui peuvent apporter des surprises... Je me souviens des messages automatiques envoyés par la fonction de l'analyse de données, et qui avaient suscité l'interrogation des enseignants.

Mais comme le souligne Anne,  je pense également que c'est une procédure qui sera différente pour chacun et qui évoluera toujours, car nous surveillons tous ce qui nous semble le plus important sur notre plateforme. Et cela dépend bien sûr de ce à quoi ressemble notre Moodle  aujourd'hui : par exemple, le confinement a révélé des usages chez nous qui m'invitent à surveiller des aspects dont je ne me souciais pas avant (activités LTI, chat...).

Bref, ça change tout le temps !! sourire

Olivier
Moyenne des évaluations Utile (3)
En réponse à Olivier Valentin

Re: Scénario de test après mise à jour

par Caroline Tartary,
Merci à tous les deux pour votre partage d'expérience.
Ca m'aide grandement.
Je suis bien d'accord que c'est propre à chacun mais par exemple... j'avais déjà oublié de noter de surveiller quickmail alors qu'il est, effectivement, un peu chatouilleux.

Merci encore sourire
Moyenne des évaluations  -
En réponse à Caroline Tartary

Re: Scénario de test après mise à jour

par Séverin Terrier,
Avatar Documentation writers Avatar Moodleurs particulièrement utiles Avatar Testeurs Avatar Traducteurs
Bonjour,

Je me permet d'indiquer, pour les personnes l'ignorant, qu'avant la sortie de chaque nouvelle version majeure de Moodle, toute une série de tests de qualité est réalisée manuellement par un ensemble de volontaires.

Voir par exemple tous les tests effectués pour Moodle 3.10 sourire

Il me semble a priori dommage de perdre du temps à re-tester des éléments qui l'ont déjà été. Je pense que les éléments standards, qui n'ont pas été modifiés n'ont pas particulièrement de raison de ne plus fonctionner.

Il faut à mon sens plutôt concentrer ses tests sur les éléments nouveaux ou modifiés par la nouvelle version (et les éventuelles versions intermédiaires), ainsi que sur les plugins non standards utilisés. Une attention particulière au thème utilisé sera nécessaire, car pouvant entrainer des problèmes d'affichage variés.

Séverin
Moyenne des évaluations Utile (5)
En réponse à Séverin Terrier

Re: Scénario de test après mise à jour

par Olivier Valentin,
Avatar Développeurs de plugins Avatar Moodleurs particulièrement utiles
Bonjour Séverin,
je ne connaissais effectivement pas cette page, merci pour l'information.
Après, il est vrai que je passe toujours très rapidement sur tout ce qui touche aux standards de Moodle, estimant que les évolutions ne sont jamais de nature à présenter de problèmes majeurs.
Bien souvent, c'est par la suite que d'éventuelles problèmes surviennent... C'est de cette façon que je traine des bugs que les mises à jour successives ne règlent toujourspas, et pour lesquelles je n'ai toujours aucune explication (quiz, politiques d'utilisation...). Des fois, ça rend un peu parano... sourire
Olivier
Moyenne des évaluations  -
En réponse à Olivier Valentin

Re: Scénario de test après mise à jour

par Luiggi Sansonetti,
Avatar Développeurs de plugins Avatar Documentation writers Avatar Moodleurs particulièrement utiles Avatar Testeurs Avatar Titulaires du Moodle Course Creator Certificate Avatar Traducteurs

Comment ?

Tu ne connais pas la page des tests QA Moodle ?

(mais si j'en suis sûr sourire)

Je l'ai dans mon dashboard depuis que j'y participe sourire


Après, j'avais imaginé pouvoir intégrer le bloc (et rapport) Workflow pour favoriser les vérifications locales avant ouverture de cours, mise en place de nouvelle activité...


Sinon, j'avais même imaginé l'export des tests QA pour faire à ma sauce par la suite (contextualisé) avec des solutions comme tuleap, testlink... mais pas eu le temps...


Moyenne des évaluations  -
En réponse à Luiggi Sansonetti

Re: Scénario de test après mise à jour

par Philippe Marchal,
Je suis assez d'accord avec Maitre Sansonetti.

Pour le core de Moodle, les tests globaux suffisent. Par contre, les trucs que je teste à tous les coups sont les "plugins et autres trucs configurables", type authentification et les outils avec changement de fonctionnalités (récemment H5P).

Les plugins eux-mêmes sont à tester, particulièrement si ils ne sont pas (encore) disponibles pour la version courante

Faut pas oublier que dans un système informatique, il a deux composantes, le système itself et l'autre coté du clavier (et c'est lui qui pose problème souvent)

Je documente et fait documenter tous les tests, ca évite pas mal de tracas
Moyenne des évaluations  -
En réponse à Luiggi Sansonetti

Re: Scénario de test après mise à jour

par Patrick Lemaire,
Avatar Développeurs de plugins Avatar Documentation writers Avatar Moodleurs particulièrement utiles Avatar Testeurs Avatar Traducteurs
Je suis d'accord avec Philippe : Luiggi, on dirait Maître Yoda... Tous les mots, on les comprends... mais là, dans ce message, compliqué à comprendre ça devient ?! 🤔🤣

Ceci étant, merci à Séverin de rappeler qu'une grande partie du travail de la communauté est transparente pour la majorité des usagers. En effet, ces tests QA sont un travail de fourmi ! Je m'y suis essayé et franchement, c'est du sérieux. Ça témoigne de la fiabilité des processus de mise à jour. Et tout le monde peut contribuer sans même avoir des connaissances avancées et encore moins des compétences techniques (j'en vois déjà certains venir). Donc TOUT LE MONDE PEUT PARTICIPER aux QA testing Moodle !

Bien sûr, vu la complexité des installations, difficile de garantir que 100% des "perdants" n'avaient pas tenté, un jour ou l'autre, de personnaliser un peu trop leur plateforme (une rustine oubliée, un bout de code par ici, une modification des rôles standards un peu absolue,...). Vu le nombre de ligne de code, une petite coquillette peut passer.

À bientôt,
Patrick
Moyenne des évaluations  -
En réponse à Patrick Lemaire

Re: Scénario de test après mise à jour

par Luiggi Sansonetti,
Avatar Développeurs de plugins Avatar Documentation writers Avatar Moodleurs particulièrement utiles Avatar Testeurs Avatar Titulaires du Moodle Course Creator Certificate Avatar Traducteurs

Bonjour

Merci pour ces demandes d'éclaircissement tant mes propos peuvent être parfois confus à cause de mon côté passionné 😁

(et non, pas Maître, juste un MoodleFan 😌)


Donc pour résumer.

Il y a en effet pour chaque prochaine version un appel à volontaire pour les QATest, tests de validation des éléments pour vérifier le bon fonctionnement du core Moodle.

Toutes les tâches sont décrites avec des étapes à suivre pas à pas

C'est simple, et (très) efficace.

Cela permet parfois de tomber sur des régressions ou des bugs ou même de découvrir des nouvelles fonctionnalités.

Prochaine session pour la 3.11 en avril si tout va bien.


Ensuite, dans ma quête du livre blanc (toujours blanc d'ailleurs) sur "prendre soin de son moodle", j'avais imaginé pouvoir reproduire ces séries de test plus contextualisé "université FR".

Car beaucoup de tests sont inutiles pour ces contextes d'usages, comme d'autres, manquants, seraient à faire (connexion aux SI...).

Bien sûr il faudrait aussi intégrer les "personnalisations locales" faites par les structures pour LEURS besoins;


Ensuite, pour les plugins tiers ajoutés, j'imaginais aussi avoir des process de validation. D'où l'apport des collègues du REAL (merci à Mohamed) de CAEN (merci à Emilie et Anne) pour certaines documentations de validation d'intégrité des plugins.


Ensuite, plutôt que tout faire  à la main, sur un doc, pourquoi ne pas chercher des logiciel ou solution permettant des automatisation de tests, pour suivre qui teste quoi dans une équipe, pour écrire des process formalisés et pérennes...

D'où ces noms de solutions (tuleap...)


Et, il se trouve que pendant mes tests, j'ai vu il y a un temps, le block Workflow qui permet de mettre en place des procédures locales de routines à suivre et valider.

Je pense l'utiliser pour valider les ouvertures de cours (vérifications des dates, des inscriptions, des contenus...)

Pourquoi ne pas en profiter pour faire des validations de plugin, de réglages fonctionnels...


Quelques liens :

http://lyon3-2017.moodlemoot.fr/course/view.php?id=90

https://moodle.org/mod/forum/discuss.php?d=389380#p1569672


Voilà

Si c'est plus clair 🤪

Moyenne des évaluations Utile (2)