Aan collegiaal advies zitten
veel haken en ogen
Onderzoeksbureau Royal HaskoningDHV scheidde in december de bevindingen van een pilot over het collegiale advies af. Hoe liep de pilot, welke conclusies zijn er getrokken, wat zijn de aanbevelingen en hoe nu verder, zijn enkele vragen die hieronder worden beantwoord.
Van wie of wat staat de handtekening onder het collegiale advies?
Niet het CBR en ook niet de brancheorganisaties, maar het Ministerie van Infrastructuur en Waterstaat (IenW) heeft eind 2020 Royal HaskoningDHV opdracht gegeven voor de pilot collegiale toetsing. Het ministerie werkt in de pilot wel samen met de rijschoolbranche en het CBR.
Met de opdracht geeft het departement gevolg aan een belofte in een Kamerbrief in november 2020.
Wat moet de pilot duidelijk maken?
Het concept van de adviesrit is als volgt: een andere rijinstructeur dan de eigen rijinstructeur stelt vast of de leerling op koers zit om het examen te halen (examengereed is). Zo niet, dan kan de leerling extra lessen volgen óf kan het examen bij het CBR worden uitgesteld. De adviesrit is vrijwillig, laagdrempelig en vrijblijvend, en het is de leerling die de keuze maakt om het examen wel of niet uit te stellen.
Beoogde positieve effecten voor rijinstructeurs zijn het bevestigen of aanscherpen van de eigen inschattingen, en het doorbreken van onbewuste hulppatronen en beoordelingstendenties. Leerlingen wennen aan de examensituatie, ontvangen waardevolle feedback en ontwikkelen een realistische zelfinschatting.
Welk doel moet het collegiale advies hebben?
'e grootste uitdaging in de praktijk is het plannen van de adviesritten tussen instructeurs onderling (met name tussen zzp’ers) en het beheersen van de kosten'
Uiteindelijk is de verwachting dat het gebruik van een collegiale adviesrit aan het einde van het opleidingstraject bijdraagt aan een hogere slagingskans op het rijexamen. Om dat te kunnen onderzoeken wordt verondersteld dat de collegiale adviesrit op een betrouwbare, geaccepteerde en praktisch haalbare manier kan worden gerealiseerd. De pilot was gericht op de laatste, met als hoofdvraag:
‘Aan welke kenmerken dient een collegiale adviesrit te voldoen, wil deze als bewezen en geaccepteerde basis worden gezien voor een advies over de examengereedheid van een leerling?’
Op basis van welke criteria wordt de leerling die deelneemt aan het collegiale advies getoetst?
Beoordeling vindt plaats op basis van de vijf criteria die het CBR ook hanteert: voertuigbediening, veiligheid, doorstromen, sociaal rijgedrag en milieusparend rijgedrag. De eigen instructeur beoordeelt aan de hand van een scoreformulier vooraf aan de adviesrit de rijbekwaamheid van de leerling, op basis van de prestaties in de laatste drie lessen. De collega-instructeur beoordeelt vervolgens met eenzelfde scoreformulier de examengereedheid van de leerling, op basis van de adviesrit. Leerlingen vullen direct na de rit een zelfreflectieformulier in met dezelfde aspecten, om de mate waarin het beeld van de eigen presentaties realistisch is te bepalen.
Waar is de pilot uitgevoerd?
De pilot vond plaats in examenregio Goes met 9 rijinstructeurs. Oorspronkelijk was het plan om zoveel mogelijk combinaties van paren van rijinstructeurs te vormen, om zo een optimaal onderzoeksdesign te verkrijgen. De af te leggen afstanden tussen de deelnemende rijscholen waren echter aanzienlijk, waardoor dit praktisch niet haalbaar bleek. Daarom is ervoor gekozen te werken met twee groepen instructeurs die in hun eigen regio onderling collegiale adviesritten uitvoeren. De twee regio’s waren Goes met 5 instructeurs en Vlissingen-Middelburg met 4 instructeurs. De rijinstructeurs hebben zelf de adviesritten gepland, zonder tussenkomst van de onderzoekers.
Bij de negen rijinstructeurs die meededen, is bewust gekozen voor een mix tussen wel/niet RIS-instructeurs en grote en kleine rijscholen. Het aantal collegiale adviesritten per rijinstructeur varieert tussen 3 en 13. De vragenlijst over de adviesritten is door 7 instructeurs ingevuld. Het streefaantal uit te voeren collegiale adviesritten tijdens de pilot was gesteld op 90.
Hoeveel leerlingen hebben meegedaan?
Aan de pilot deden in totaal 70 leerling-automobilisten mee. Van hen waren er 34 man (48,6%) en 36 vrouw (51,4%). De gemiddelde leeftijd van de deelnemende vrouwen (gemiddeld 20,3 jaar) ligt wat hoger dan die van de mannen (gemiddeld 18,2 jaar). De vragenlijst over beleving van de adviesrit is door 30 leerlingen ingevuld. Jongere leerlingen (tot 21 jaar) waren in die groep sterker vertegenwoordigd. In totaal zijn er 74 collegiale adviesritten gereden. Drie leerlingen hebben tweemaal aan een adviesrit meegedaan.
Hoe vaak kwamen de bevindingen van de eigen instructeur overeen met die van de collega?
De inschatting van de collega-instructeur en die van de eigen instructeur over de examengereedheid van de leerling (wel/bijna/niet) komen in 44 gevallen (59,5%) exact overeen. Bij 23 adviesritten zijn aangrenzende positieve adviezen gegeven (de combinatie ‘wel/bijna’). Bij 7 adviesritten concludeerde de ene instructeur niet examengereed, en de andere wel of bijna examengereed.
Voor het patroon in scores op de hoofdcriteria (voertuigbediening, veiligheid, doorstromen, sociaal rijgedrag, milieusparend rijgedrag), geldt dat er een hoge overeenstemming is tussen het beeld van de collega-instructeur en het beeld van de eigen rijinstructeur. Leerlingen presteren op veiligheid significant lager dan op de andere criteria, en bij alle instructeurs consistent onder 3,5 op een schaal van 1 (hiermee ging nog veel mis, diverse fouten) tot en met 4 (dit ging (bijna) altijd goed).
Instructeurs uit beide pilotgroepen (Goes en Vlissingen-Middelburg) zijn ongeveer even streng in hun beoordelingen, uitgezonderd één instructeur die beduidend strenger is dan alle andere collega’s.
Hoeveel kandidaten die hieraan meededen slaagden uiteindelijk voor het B-examen?
Van de leerlingen die gedurende de projectperiode op gingen voor het examen slaagde ruim 82%. Het vooradvies van de collega-instructeur is een goede voorspeller van de examenuitslag. Een hoog percentage examengereed geachte leerlingen slaagt ook daadwerkelijk (bijna 84%). Bij collega-instructeurs komt het enkele keren voor dat een als niet-examengereed beoordeelde leerling toch slaagt. Bij de eigen rijinstructeur is dit niet het geval.
Welke fouten worden zoal gemaakt door de leerlingen?
Een kwart van alle gemaakte fouten in de adviesrit heeft betrekking op het tijdig opmerken en herkennen van situatieveranderingen in het verkeer. Daarnaast komen fouten in rijden met een aangepaste snelheid (15%) het vlot en besluitvaardig handelen (14%), en het aanhouden van een veilig ‘ruimtekussen’ (9%) voor. Bezien vanuit de rijtaak komt 45% van de fouten voor bij rijden op en nabij kruispunten, inclusief afslaan.
Waren de leerlingen zenuwachtig tijdens de adviesrit?
Veel (59%) leerlingen waren (enigszins) gespannen tijdens de collegiale adviesrit. 69% geeft aan meer gespannen te zijn geweest dan tijdens de normale rijlessen. De mate van zelfvertrouwen varieerde vrij sterk tussen leerlingen; ofwel tamelijk veel vertrouwen (50%) ofwel een beetje vertrouwen (42%).
Herkenden de leerlingen het beeld van de andere instructeur?
Een grote meerderheid (90%) van de leerlingen herkende het beeld dat ze doorgaans van hun eigen instructeur kregen terug in dat van de collega-instructeur. De meeste leerlingen (80%) zouden anderen aanraden om ook een adviesrit te rijden met een collega-instructeur. Inhoudelijk gezien vinden 23 leerlingen (76,7%) dat ze nuttige tips hebben meegekregen van de collega-instructeurs.
En hoe staan de instructeurs in het verhaal?
De meerderheid ziet de adviesrit vooral als een bevestiging van hun eigen inschatting over wat leerlingen kunnen. Daarnaast geeft het een beter beeld van hoe streng rijinstructeurs zijn in vergelijking met anderen, en is er volgens vier instructeurs een gedeelde kijk bij de deelnemers ontstaan op de manier van beoordelen.
Hoe zit hert met de werkbelasting?
Instructeurs besteedden per collegiale adviesrit tussen de 85-130 minuten aan de werkzaamheden, inclusief het plannen. Dat laatste was volgens bijna alle instructeurs een knelpunt. Ook reistijd, het vinden van geschikte collega’s (in de buurt), lange wachttijden bij het CBR en het beoordelingsformulier zijn genoemd. Als randvoorwaarden voor invoering van de adviesrit werden de beschikbaarheid van momenten voor het nieuwe praktijkexamen en een voldoende omvang van de rijschool het meest vaak gekozen. Instructeurs verschillen van mening over mogelijke uitwerkingsopties van de collegiale adviesrit.
Het is dus best veel werk en iedere rijinstructeur zit al tot over zijn oren in het werk. Vinden de instructeurs na de pilot dat ze dit erbij kunnen doen of is er een andere conclusie?
De meerderheid is voorstander van inzetten van speciaal opgeleide instructeurs, en zou de adviesrit vast onderdeel van het lessenpakket maken.
Wat zijn de andere conclusies?
In deze pilot stond de ontwikkeling en evaluatie van de bruikbaarheid van de adviesrit centraal. De leidende vraag daarbij was aan welke kenmerken een collegiale adviesrit dient te voldoen, wil deze als bewezen en geaccepteerde basis worden gezien voor een advies over de examengereedheid van een leerling. We kunnen met betrekking daartoe het volgende concluderen:
• De consistentie in het scoringgedrag, de wijze waarop fouten worden opgemerkt en de onderwerpen waarover feedback wordt gegeven door collega-instructeurs wijzen op een goede basis voor het gebruik van de ontwikkelde adviesrit in de laatste fase van de rijopleiding.
• De adviesrit en met name de gebruikte scoreformulieren zijn een goed communicatiemiddel tussen alle betrokken partijen (beide instructeurs en leerling) over de gemaakte vorderingen. Het is bruikbaar om eventuele hiaten in de opleiding vast te stellen.
• De ontwikkelde procedure voor de collegiale adviesrit werkt in de praktijk en is een goede basis om te adviseren over de examengereedheid van de leerling.
• De grootste uitdaging in de praktijk is het plannen van de adviesritten tussen instructeurs onderling (met name tussen zzp’ers) en het beheersen van de kosten.
En welke aanbevelingen zijn er?
Wetende dat het instrument en de procedure van de collegiale adviesrit naar behoren functioneren, is een volgende stap het onderzoeken van mogelijkheden voor implementatie in de praktijk. Enkele aanbevelingen op dit gebied zijn:
• Onderzoek de optie om gespecialiseerde instructeurs in te zetten die de collegiale adviesritten afnemen. Dit maakt het plannen vooral voor kleine rijscholen gemakkelijker, en hiermee wordt voorkomen dat minder presterende instructeurs de adviesritten uitvoeren.
• Maak een doorkijk naar een modulair opgebouwde opleiding waarbij elke module met een toets wordt afgesloten. In het model van de RIS/ ROM voert de eigen instructeur de toets uit. In het model van de collegiale adviesrit wordt de toetsende rol overgenomen door een collegainstructeur. Dit zou eventueel ook steekproefsgewijs uitgevoerd kunnen worden. Breng de benodigde extra investering en opbrengsten in kaart. Voor acceptatie is het belangrijk dat deelname aan de collegiale adviesrit voor leerlingen de rijopleiding niet duurder maakt.
Naast aandacht voor de praktische kant is ook aan te bevelen nader onderzoek te doen naar het effect van de collegiale adviesrit op de slaagkans voor het rijexamen.
Enkele aanbevelingen in dit verband zijn:
• Rol de collegiale adviesritten breder uit onder een representatieve groep rijopleiders. Met een grotere en meer diverse steekproef kunnen onderbouwde uitspraken worden gedaan over het effect van de adviesrit op de slaagkans.
• Betrek examinatoren van het CBR bij het onderzoek naar collegiale adviesritten en laat hen aanvullend op de huidige procedure op basis het examen het CA-scoreformulier voor de leerling invullen. Zo kunnen formatieve en summatieve toetsing op elkaar af worden gestemd. Idealiter is de beoordeling op het afsluitende examen in lijn is met de beoordeling tijdens de adviesritten.
Dit zijn de conclusies die in het rapport staan, maar is er ook een conclusie te trekken naar de toekomst?
Er zijn er een paar. Allereerst: de pilotgroep was best klein en de instructeurs die eraan meededen kennen elkaar goed. Het is ons kent ons. Niets mis mee, maar niet overal in Nederland is de situatie zo prima geregeld.
Er zijn ook rijinstructeurs die menen dat een aantal collega’s amper kan autorijden en aan hen geven ze ‘never nooit’ hun auto mee. En dat zijn uitgerekend de instructeurs die baat hebben bij een advies van derden.
Bron: De Collegiale Adviesrit , Verslag van een pilot in de examenregio Goes
