Onder welke voorwaarden kan online toetsen effectief zijn?

1
Onder welke voorwaarden kan online toetsen
effectief zijn?

• Silvester Draaijer (Vrije Universiteit Amsterdam)
• Jan de Goeijen (Universiteit Twente)
• Pierre Gorissen (Fontys Hogescholen / SURF SiX)
• Anton Negger (Fontys Hogescholen) - voorzitter

2
Onder welke voorwaarden kan online toetsen
effectief zijn?

• Toetsen met ICT is sterk in opkomst, maar vergt
  een belangrijke organisatorische verandering,
  zowel voor de toetsontwikkeling als voor de
  toetsuitvoering. In deze sessie wordt vanuit
  technisch en organisatorisch perspectief een
  aantal aspecten uitgewerkt.
• nuttig, bruikbaar, handig, praktisch, doeltreffend

3
Online toetsing

• Kennistoetsing
• Vooral spelend rondom inzet van gesloten vragen
  in onderwijs (automatisch afhandelbaar)
• Vaardigheden toetsing
• Geschikt voor hogere orde cognitieve kennis,
  probleemoplossing of zelfs vaardigheden, vb toets
  communicatievaardigheden Fontys

4
Wat is het belang van toetsing

• Functies van toetsen
• Als middel en/of als doel
• Formatief en/of summatief
• Summatieve toetsing stuurt het leerproces in
  sterke mate
• Met ICT middelen zou toetsing nuttiger,
  praktischer, doeltreffender, handiger, goedkoper
  kunnen worden?

5

• Wat is effectief en efficiënt toetsen
• Vertrouwd rijtje criteria
• Betrouwbaarheid
• Validiteit
• Uitvoerbaar (evenwicht in baten en kosten)

6
Voor- en nadelen, kansen en bedreigingen van
(online) toetsen met ICT

• Voordelen/kansen/baten
• Meer tijd- en plaatsonafhankelijk
• Integratie met e-learning
• Gestructureerder itembanking -gt hogere kwaliteit
  toetsvragen en toetsen
• Directe feedback
• Multimediale elementen/simulaties
• Adaptief toetsen
• Nadelen/bedreigingen/kosten
• Arbeidsintensief
• Afhankelijk van techniek
• Andere organisatie noodzakelijk

7
Toetscyclus voor (kennis)toetsing
8
Drie Organisatieregels

• ontkoppelen - specialisatie - schaalvergroting -
  continuïteit
• Ontkoppelen van toetsinhoud en toetsuitvoering
• Ontkoppelen van onderwijs en toetsing
• Ontkoppelen van toetsmateriaal en toetsmiddel

9
Organisatieregel A ontkoppelen van toetsinhoud
en toetsuitvoering

• Docent (of groep) verzorgt onderwijs, docent
  maakt toetsvragen, docent geeft opzet toets aan
  toets- en IT-specialist verenigd in
  toetsservicecentrum
• ? toetsservicecentrum organiseert toetsafname /
  toetsverwerking / terugkoppeling
• Voordelen
• Uitvoeringskosten lager voor de organisatie
• Docent meer tijd voor doceren (effectief voor
  docent)

10
Organisatieregel A ontkoppelen van toetsinhoud
en toetsuitvoering - pogingen

• HBO
• Hanzehogeschool
• WO
• Technische Universiteit Delft
• Mechanica onderwijs, toetsing met Tempo en
  Presto
• KU Leuven en Dundee University
• Bank/Verzekering (Lamark)
• Borging van kwaliteit toetsing bij Bank

11
Organisatieregel A ontkoppelen van toetsinhoud
en toetsuitvoering

• Problemen om dit op korte termijn op te lossen
• Geen organisatie
• Geen beveiligde toetszaal
• Toetszaal is duur?
• Baten onduidelijk?
• Vergt
• Relatief weinig visie
• Een redelijke dosis geld

12
Stelling A

• Het is noodzakelijk om toetsinhoud en
  toetsuitvoering van elkaar los te koppelen!

13
Organisatieregel B ontkoppelen van onderwijs en
toetsing

• Toetsing wordt door extern lichaam vormgegeven
  en uitgevoerd (beroepsorganisatie, speciale
  commissie, speciale organisatie intern).M.a.w.
  naast uitvoering, ook inhoudelijke ontkoppeling
  docent-toetsing of zelfs opleiding-toetsing
• Waarom
• Een hogere kwaliteit van toetsing
• Een onderling vergelijkbare kwaliteit en niveau
  van toetsing
• Uitvoeringskosten lager voor de organisatie
• Docent meer tijd voor doceren

14
Organisatieregel B ontkoppelen van onderwijs en
toetsing

• Voortgangstoets (Maastrichts model)
• Gestandaardiseerde vaktoets (2e graads
  lerarenopleiding Ton Plug)
• Anders WO/HBO?

15
Organisatieregel B ontkoppelen van onderwijs en
toetsing

• Waarom moeilijk!
• Vergt visie
• Vergt beleid
• Vergt doorzettingsvermogen
• Vergt stabiel vakgebied
• Vergt leiderschap
• Vergt tijd
• Vergt consensus
• Vergt veel

16
Stelling B

• Onderwijs en toetsing moeten van elkaar
  losgekoppeld worden!

17
Aandeel diverse actoren in toetscyclus
opleiding, beroepenveld
inhoud
docent
Gewenste ontwikkelrichting
toetsservice bureau (itembankbeheer,
toetsdeskundige, beveiligde toetsomgeving
(toets)techniek
docent
18
Efficiëntie-gebied formatief toetsen
Beveiligde toetsomgeivng met toetsservice bureau
complexe vaardigheden toetsen met speciaal
toetsprogramma
toetsservice bureau
serie MC toetsen, online met ELO
Veel afnames
Weinig afnames
Serie MC vragen, pen en papier
open vragen
Individuele docent
19
Efficiëntie-gebied summatief toetsen
Beveiligde toetsomgeving met toetsservice bureau
serie individuelevaardigheden toetsen, online met
toetsprogramma in beveiligde omgeving
serie individuele kennistoetsen, online met
toetsprogramma in beveiligde omgeving
toetsservice bureau
serie individuele kennistoetsen, online met
toetsprogramma in kleine zaaltjes
Veel afnames
Weinig afnames
Serie MC vragen, pen en papier
open vragen
Individuele docent
20
Organisatieregel COntkoppelen toetsmaterialen
en toetsmiddel

• Toetsmaterialen worden onafhankelijk van de
  afspeelomgeving (het toetsmiddel) opgeslagen
• Gebruik is mogelijk voor zowel online als offline
  toetsen (beeldscherm en papier)

21
Organisatieregel COntkoppelen toetsmaterialen
en toetsmiddel

• Voordelen / Kansen
• Itembanking ? uitwisseling
• Voorkomt vendor-lockin
• Nadelen/bedreigen
• Kleinste gemene deler (?)
• Nog geen stabiele afspraken

22
Organisatieregel COntkoppelen toetsmaterialen
en toetsmiddel

• Waarom?
• Levensduur items v.s. levensduur software
• Diversiteit gebruikte software ( goed!)
• Noodzaak van schaalvergroting
• Waarom niet?
• Technisch niet eenvoudig
• Cultuur
• Not invented here (geloof ik niet)
• Docent wil in ELO ontwikkelen (!)

23
Organisatieregel COntkoppelen toetsmaterialen
en toetsmiddel

• Wie is er al mee bezig?
• Digitale Universiteit
• Grafische integratie
• SURF
• Tender 2004
• Thieme Meulenhoff
• Onderzoek hergebruik toetsmaterialen

24
Organisatieregel COntkoppelen toetsmaterialen
en toetsmiddel

• Wie is er al mee bezig?
• TOIA
• QTI gebaseerd systeem voor HO in VK
• Fontys
• Elektronische beheren en verwerken van papieren
  toetsen

25
Stelling C

• Toetsmaterialen en toetsmiddel moeten van elkaar
  los gekoppeld worden!

26
Organisatorische en technische stellingen op een
rij.

• Het is noodzakelijk om toetsinhoud en
  toetsuitvoering van elkaar los te koppelen!
• Sterker nog onderwijs en toetsing moeten van
  elkaar losgekoppeld worden!
• Toetsmaterialen en toetsmiddel moeten van elkaar
  los gekoppeld worden!