Hallo Nederlandse Moodle-gebruikers!
Ik ben al een tijdje bezig met het uitzoeken wat de beste manier is om toetsvragen te maken en op te slaan. Ik heb een grote hoeveelheid open vragen rondslingeren in Word-documenten, tekstbestanden, HTML-files, en gekladder op papiertjes. Hiervan wil ik eigenlijk één grote database samenstellen.
Het valt me eerlijk gezegd een beetje tegen hoe lastig het is om open vragen met een tamelijk eenvoudige 'vraag-hint-antwoord'-structuur onder te brengen in een gestandaardiseerde vorm. IMS-QTI is ongelooflijk complex en het hard je ook zoekt, er is bijna geen beginnen aan om hier een goede editor voor te vinden. Je hebt QTI 1.2, QTI 2.1, QTI-Lite, vele pagina's aan beschrijvingen en tientallen onderzoeksteams die er op hun eigen manier mee bezig zijn. Maar uit dit alles is nog niets concreets gekomen, geen goede editors, geen goede viewers, nauwelijks praktische toepassingen.
Moodle maakt gebruik van MoodleXML, overzichtelijk, niet nodeloos complex, eigenlijk is dit de XML-vorm die ik zoek, behalve dat bij elke open vraag zoals ik ze heb ontwikkeld een hint hoort, een korte verwijzing naar waar het antwoord gevonden kan worden. Deze hints kunnen niet in de MoodleXML-structuur worden opgenomen. Bovendien verwacht ik niet dat MoodleXML genoeg gestandaardiseerd is om ook te kunnen worden gebruikt in andere leeromgevingen.
Zijn er mensen die ervaring hebben met een soortgelijk probleem van het aanbrengen van structurering in een grote hoeveelheid (open) toetsvragen? Wat is het beste pad om te kiezen?
Standaardisatie van toetsvragen: QTI, MoodleXML, andere vorm?
door Ike Moodelaar -
Aantal antwoorden: 5
Als antwoord op Ike Moodelaar
Re: Standaardisatie van toetsvragen: QTI, MoodleXML, andere vorm?
door Ger Tielemans -
De open vraag van Moodle ondersteunt wel feedback, maar dit type vraag wordt onder 1.9.2 nog niet ondersteund in de QTI 2.0 export
Door de XML-structuur van Moodle te gebruiken eindig je met XML-trees waar je tree-scripts op los kunt laten... (DOM)
Als antwoord op Ike Moodelaar
Re: Standaardisatie van toetsvragen: QTI, MoodleXML, andere vorm?
door Christian Bokhove -
Ik vind dat er op dit moment geen enkele bruikbare standaard is om de gewenste complexiteit van vragen mee te modelleren.
Als antwoord op Christian Bokhove
Re: Standaardisatie van toetsvragen: QTI, MoodleXML, andere vorm?
door Ger Tielemans -
Een bekende Professor in Maastricht (W.W.) maar ook anderen vinden dat we doorgeslagen zijn in de toetscultuur:
- In de assessment fase van een opleiding kun je volstaan met beweringen te doen waarbij de gebruiker true/false moet antwoorden.
- Maak gewoon meer beweringen dan je 4-keuze vragen zou maken.
- Ook toepassen van kennis is in een bewering - namelijk de onderliggende reden te vangen.
- Open vargen zul je voorlopig nooit goed automatisch scoren: daarvoor is een taal begrijpende computer nodig, niet alleen een slimme regular expression vraag.
- In de oefen- en zelfdiagnose fase gebruik je wel de andere vraagtypen omdat je daarbij gerichte feedback kunt inbouwen. (Waarom is je antwoord fout, maar ook: waarom is je antwoord goed.)
- Bij volwassen ondewijs wordt veel het denk even na en klik dan op de antwoordknop voor een vergelijking met je eigen antwoord. Vergt van leerling wel veel..
- Ik vind de open vraag met feedback intrigrerend, maar zoek daar toch liever de richting van open vraag met nakijkmatrix/ criteriumset/ RUBRICS (en ja dat blijft handwerk: Peerreview benutten
De gesloten micro-omgevingen met beperkte handelingskeuze die Christian bouwt voor zijn wiskunde (en anderen met Cinderella.de) vind ik van een andere orde: mooi in zijn soort!
Ik vraag me wel af wat de exportwaarde van de uitkomst van die gesloten omgeving buiten die context is.. Scorm loopt daar juist op stuk.
Als antwoord op Ger Tielemans
Re: Standaardisatie van toetsvragen: QTI, MoodleXML, andere vorm?
door Christian Bokhove -
Summatief toetsen is doorgeslagen. Assessment for learning (formatief) is m.i. gewoon een combinatie van verschillende toetsvormen. Het is én én niet óf óf.
"Open vragen zul je voorlopig nooit goed automatisch scoren: daarvoor is een taal begrijpende computer nodig, niet alleen een slimme regular expression vraag."
Ik vind dat de OU in het VK daar aardige dingen mee doet (Open Mark)
(presentatie, links op laatste pagina)
Ze zijn er alleen nog niet mee *klaar* dus het is nog niet vrijgegeven.
"Ik vraag me wel af wat de exportwaarde van de uitkomst van die gesloten omgeving buiten die context is.. Scorm loopt daar juist op stuk."
SCORM wordt volgens mij ook niet op de goede manier gebruikt. In plaats van te kijken q\wat je hebt, buitelt iedereen over elkaar heen om aan te geven wat SCORM níet kan, verwijzend naar toekomstige standaarden die dat allemaal wel kunnen. Het gevolg is dat de kleine kans die een voorgenomen standaard heeft om echt een praktisch toepasbare standaard te worden, nog kleiner wordt. Indien je SCORM helemaal benut -wat mij betreft inclusief suspendstate- en het mogelijk maakt de gehele status van een pakketje (zoals de leerling hem achterliet) te bekijken, juist dan ben je formatief bezig: het gaat immers om de daadwerkelijke antwoorden, fouten enz. niet alleen om een score.
Een terechte vraag, het draait bij de praktische toepass
Als antwoord op Christian Bokhove
Re: Standaardisatie van toetsvragen: QTI, MoodleXML, andere vorm?
door Ger Tielemans -
Bedankt voor dat artikel over OpenMark, erg interessant, vooral de wijze waarop ze het hebben geijkt. Het is inderdaad een slimme uitweg voor open vragen met accent op feedback. (ik denk toch wel met regex als filterbasis)
SCORM, of beter gezegd het AICC deel is bedacht in de tijd dat we allemaal nog dachten dat goed onderwijs gelijk stond aan het in de juiste volgorde, opklimmend (Bloom?) aanbieden van in moeilijkheid toenemende kennis en daarbij horende activiteiten.(COO / CAI) Dat leermodel moet dan wel expliciet worden gemaakt in de Leeromgeving waarbinnen je de toegevoegde SCORM aanbiedt. Zonder dat heeft die module geen partner om mee te communiceren. Ik ken geen school in Nederland (of daarbuiten) die vandaag de dag nog een dergelijk model hanteert, laat staan met ICT geïmplementeerd. (ik sta open voor adressen hoor!)