Steekproef

Een instelling kan binnen TOA Toetsplatform een steekproef op de beoordelingen uitvoeren. Een dergelijke steekproef geeft meer inzicht in de beoordelaarsbetrouwbaarheid van de assessoren. Medewerkers met de rollen van Examenbureaubeheerder en Examenbureau voeren de grootte van de steekproef in; bijvoorbeeld 5%, 10%, of 25% van het aantal beoordelingen.  Een steekproef kan worden ingezet om inzicht te geven in hoe de assessoren ten opzichte van elkaar hebben beoordeeld. Dat kan uitmonden in een intervisiebijeenkomst waarbij met het examenpersoneel het gesprek gevoerd kan worden over de wijze van beoordelen.

Stap 1: Steekproef aanmaken

Met de rollen van Examenbureaubeheerder en Examenbureau kan de steekproef worden aangemaakt. De steekproef staat bij elke instelling automatisch aan. De instelling bepaalt zelf om er gebruik van te maken.
Ga naar het tabblad Examens > Steekproef, en kies vervolgens voor 'Maak nieuwe steekproef aan'. 

Maak gebruik van de filter om aan te geven in welke selectie de steekproef moet plaatsvinden, en klik op 'Zoek'. 

Vervolgens worden de afnames die in de steekproef zitten getoond. Om de steekproef te kunnen toevoegen kan er een naam aan worden gegeven en kan er een assessor toegewezen worden. Het is ook mogelijk om achteraf een assessor toe te wijzen.

Nadat de steekproef is aangemaakt verschijnt deze op de overzichtspagina. Klik vervolgens in de meest rechterkolom om 'Bekijk'.

Stap 2: Assessor toewijzen aan de steekproef

Op de detailpagina kan vervolgens de geselecteerde afnames alsnog toegewezen worden aan een assessor. Tevens kan hier de assessor nog gewijzigd worden.

Stap 3: Steekproef beoordelen

De assessor ziet de beoordelingen klaarstaan onder het tabblad Examens>Beoordelen>Steekproef. De assessor kan de beoordeling starten door in de rechterkolom op 'Beoordelen' te klikken.

De manier van beoordelen gaat op dezelfde manier als andere examens beoordelen: de assessor beoordeelt aan de hand van het rubrics beoordelingsmodel. Voor meer informatie over het beoordelen ga naar een toets beoordelen in de TOA. ​​​​​​​

Het resultaat van de beoordeling van de steekproef heeft geen invloed op het resultaat van de student. Het resultaat blijft alleen zichtbaar in de steekproef. In het overzichtsscherm van de steekproef is te zien of de steekproef nog openstaande beoordelingen heeft.

Klik op de meest rechterkolom op 'Bekijk' om de steekproef te openen. Op deze pagina kan je een export maken van de steekproef om eventuele afwijkingen tussen de eerste assessor en de assessor van de steekproef te bekijken.

In bovenstaand voorbeeld zie je dat er een afwijking van 2.0 punten tussen de daadwerkelijke afname en de steekproef zit. 

In bovenstaand voorbeeld heeft de afnameassessor op de onderdelen 'Afstemming op doel' en 'Woordenschat en woordgebruik' een goed toegekend, terwijl de assessor van de steekproef dit als voldoende heeft bestempeld. Uit deze data kunnen vervolgens verschillende analyses gedaan worden om de kwaliteit van de assessoren te verbeteren.