evaluatie

1. evaluatie pilot-rekentoets VO 2013 23 april 2013 Jan Kastelein, CvE

2. Inhoud 1. taalgebruik 3. hoeveelheid 5. inzage 2. afronden 4. terugbladeren 8. resultaten 10. 3S 6. itembanken 7. 1-punts-vragen 9. normering 11. dyscalculie

3. 1. De rekentoets lijkt meer op ‘begrijpend lezen’ dan op rekenen. Waarom is de rekentoets zo talig? Referentieniveaus: P – paraat hebben F – functioneel gebruik W – weten waarom staat centraal Rekentoetswijzer: P – 20% contextloze opgaven F – 80% opgaven in context W 20% zonder rekenmachine 80% met rekenmachine

4. 1. • Gevolg: • 80% van de opgaven in contexten, bv: • de prijs van aardbeien • vervoersmiddelen van werknemers bij woon-werkverkeer • 20% contextloos, bv. : • 5 x 38 + 15 x 38 = … • 1¾ + 2½ = … • Aandachtspunten makers rekentoets: • Geen onnodige tekst • Contexten zo mogelijk anders presenterenbv. als afbeelding, grafiek of tabel

5. 2. Hoe je moet afronden is in de rekentoets niet altijd duidelijk. Kunnen afronden op juiste aantal decimalen is een toetsdoel. Dit is beschreven in de rekentoetswijzer.

6. 3. Waarom zoveel opgaven? Leerlingen komen in tijdnood. • Hoeveelheid opgaven is nodig de voor betrouwbaarheid. • Iedere toets / examen is een meting van het vaardigheidsniveau. • Meting moet nauwkeurig zijn: • % ten onrechte onvoldoende en • % ten onrechte voldoende • moeten minimaal zijn. • Dit geldt i.h.b. voor de rekentoets.

7. 3. Tijdnood: Enige tijdnood was zichtbaar in de toets- en itemanalyses • Tijdnood kan gevolg zijn van • hoeveelheid opgaven • laag vaardigheidsniveau • evt. ook: niet kunnen terugbladeren

8. 4. Niet kunnen terugbladeren: Veel leerlingen: Dat is hinderlijk. • Oorzaak: gedeelte mét en gedeelte zonder rekenmachine. • Twee segmenten onderscheiden • de opgaven zonder rm • de opgaven mét rm • is in ExamenTester niet mogelijk. In Facet kan dit wel.

9. 5. Waarom achteraf geen inzage? Leerlingen kunnen zo niet leren van hun fouten. De opgaven gaan in een itembank en kunnen na een aantal jaren worden hergebruikt. Daarom zijn de opgaven na afloop niet openbaar. • Behoudens de 60 opgaven uit de voorbeeldrekentoets. • Jaarlijks in september: één voorbeeldrekentoets. • Zo ontstaat set van voorbeeldrekentoetsen. • via http://rekentoets.cito.nl • als digitale toets in ExamenTester / Facet t.b.v. ‘Proef op de Som’. • Oefenmogelijkheden voor / met leerlingen.

10. 6. Itembanken • Reden: • meer afnametijdstippen – meer flexibiliteit • preciezere cesuurbepaling • op termijn: adaptieve toetsing van de referentieniveaus mogelijk • Daarom ook: alleen automatisch scoorbare vragen Itembanken zijn in opbouw. Als de itembanken genoeg opgaven bevatten kan overwogen worden om alle opgaven openbaar te maken.

11. 7. Waarom zijn alle vragen maar 1p. waard? Sommige opgaven kennen drie denkstappen en zijn toch goed of fout. anders dan bij CE • Iedere opgave heeft een moeilijkheidsgraad. • Opgaven gerangschikt van makkelijk naar moeilijk. • De toets meet tot welke moeilijkheidsgraad de leerling de opgaven goed beantwoordt. • Zo meet de toets het vaardigheidsniveau van de leerling. • Het aantal scorepunten per opgave maakt dan niet uit. (Dit is een vereenvoudiging van de (toets)werkelijkheid.)

12. 8. Signalen van tegenvallende resultaten Die signalen krijgen wij ook. Dat hadden we liever anders gezien. • In hoeverre zijn er verschillen tussen scholen? • Groep van 2013 niet goed vergelijkbaar met die van 2012in 2013: 4x zo veel leerlingen, 80% uit voorlaatste leerjaar • 2F is ‘met de kennis van nu’ in 2012 te soepel genormeerd

13. 9. Normering / cesuurbepaling anders dan bij CE standard bepaling door een panel van experts experts schatten de cesuur welke opgaven moet een kandidaten ogv de rekentoetswijzer goed hebben voor een voldoende? opgaven worden opvolgorde van moeilijkheidsgraad aan het panel voorgelegd; alle resultaten van eerdere standaard bepalingen worden erbij betrokken. Inclusief die voor de centraal ontwikkelde examens (coe’s) rekenen MBO. rekentoets heeft overlap met coe’s en v.v. ijking aan referentiesets De normering van het heden is daardoor ‘per definitie’ beter dan die uit het verleden.

14. vaardig- heids- niveau anders dan bij CE 132 131 130 129 128 127 33 scorepunten 126 28 scorepunten

15. 3F-cesuur vaardig- heids- niveau vaardig- heids- niveau 132 132 130,0 131 131 130 130 129 129 128 128 127 127 126 126

16. vaardig- heids- niveau vaardig- heids- niveau 2F-cesuur 2013 120 120 109,8 115 115 110 110 105 105 105,7 100 100 95 95 2F-cesuur 2012 90 90

17. 9. Maatwerk per leerweg bij de normering vmbo • Besluit staatssecretaris: • de lat omhoog bij GL/TL (= GT) • de lat tijdelijk lager bij BB • Uitwerking door CvE voor pilot 2013: • KB-cijfer = 2F-cijfer • GT-cijfer: 1 cijferpunt strenger dan 2F-cijfer • BB-cijfer: 1 cijfer punt soepeler dan 2F-cijfer Gevolg: lagere gemiddelde cijfers bij GT dan bij 2F-becijfering hogere ,, ,, ,, BB ,, ,, ,,

18. vaardig- heids- niveau vaardig- heids- niveau 120 120 GT 116,0 115 115 1 cijferpunt 109,8 2F = KB 110 110 1 cijferpunt 105 105 BB 100 100 98,5 95 95 90 90

19. 10. 3S referentieniveau voor vwo? Er is een rekentoetswijzer 3S uitgebracht (Commissie Van der Craats) Besluit OCW: Nu onderzoeken Er wordt een rekentoets 3S gemaakt met in achtneming van de rekentoetswijzer 3S ± april 2014: veldraadpleging over rekentoets 3S

20. 10. • Rekentoets 3S • zelfde vorm als rekentoets 3F , d.w.z. digitaal • ± april 2014: op • op http://rekentoets.cito.nl • wellicht ook digitale toets in ExamenTester / Facet • 3S-opgaven voordien uitproberen in 5 vwo • tijdens afnameperiode van rekentoets 3F • ook in C&M, E&M • d.m.v. 2 varianten van een toets die een mix is van 3S- en 3F-opgaven • met als resultaat: een 3S- en een 3F-cijfer • 3F-cijfer kan (onder voorwaarden) op cijferlijstm.a.w. extra kans voor 5-vwo-ers van deelnemende scholen

21. 11. Dyscalculie In juni: rapportage van OCW aan TK. Bevat bevindingen van onderzoek naar mogelijke aanpassingen in de rekentoets VO t.b.v. dyscalculische kandidaten. Gedacht wordt aan: Het onderzoeken van de mogelijkheid van een dyscalculie-versie van de rekentoets.