Een instellingstoets zegt niets over de kwaliteit van een opleiding

“Geen externe inspectie meer: Universiteiten mogen zichzelf controleren”. Zo kopte de Vlaamse krant De Morgen de ochtend van 24 november. Er ligt een plan klaar om opleidingen in het hoger onderwijs voortaan niet meer te laten controleren door een externe partij. In plaats daarvan kunnen Vlaamse universiteiten en hogescholen zich op instellingsniveau laten controleren. Wanneer zij deze toets halen, hoeven externe controles op opleidingsniveau voortaan niet meer plaats te vinden.

In Nederland hebben we al enkele jaren ervaring met een externe toets op instellings- én opleidingsniveau. Dit is een mooie aanleiding om de cijfers eens op een rij te zetten en ons de vraag te stellen: hoeveel zegt het halen van de instellingstoets nou eigenlijk over de kwaliteit op opleidingsniveau?

NQA heeft alle oordelen vergeleken die sinds 2012 gegeven zijn bij opleidingsvisitaties*. Opleidingen die gegeven worden aan instellingen die hun instellingstoets hebben gehaald, zijn beoordeeld door middel van een beperkte opleidingsbeoordeling (BOB). Instellingen die geen toets op instellingsniveau hebben laten uitvoeren (of deze niet hebben gehaald), worden beoordeeld aan de hand van een uitgebreide opleidingsbeoordeling (UOB). Door te vergelijken hoe er gescoord wordt bij de BOB ten opzichte van de UOB, is het vrij eenvoudig zichtbaar te maken hoeveel beter de instellingen het doen die hun instellingstoets gehaald hebben.

Het eenvoudigst is om daarbij te vergelijken hoe opleidingen scoren op het onderwerp (de ‘standaard’, in accreditatiejargon) ‘Toetsing en gerealiseerde eindkwalificaties’. Dit onderwerp is hetzelfde bij de BOB en bij de UOB**. Daarnaast is het één van de belangrijkste standaarden uit het accreditatiekader. Vrijwel alle onvoldoendes die als totaaloordeel vallen, worden gegeven op basis van deze standaard. Conform de huidige beslisregels van de NVAO is de standaard in grote mate maatgevend voor het totaaloordeel.

In de door ons bestudeerde periode zijn in het hbo 471 opleidingen beoordeeld door middel van een BOB, en 180 opleidingen door middel van een UOB. Van de opleidingen die beperkt beoordeeld zijn, scoort 6,1 procent onvoldoende op ‘Toetsing en gerealiseerde eindkwalificaties’. Van de opleidingen die uitgebreid zijn beoordeeld is dat 5,7 procent. Niet alleen blijkt het halen van een instellingstoets geen garantie is een voldoende oordeel op opleidingsniveau. We kunnen zelfs constateren dat de instellingen die hun instellingstoets wel gehaald hebben het niet beter doen dan hun collega’s die de toets niet hebben gedaan of gehaald.

Het verschil is echter klein, daarom is het ook de moeite om te kijken naar het aantal opleidingen dat hoger scoort. Misschien hebben de instellingen die hun instellingstoets hebben gehaald, wel meer opleidingen die als ‘goed’ beoordeeld worden? Het antwoord is ‘neen’. Sterker nog, het verschil is hier zelfs groter. Van de opleidingen in het hbo die beoordeeld zijn door middel van een BOB scoort 16,3 procent ‘goed’ op de standaard ‘Toetsing en gerealiseerde eindkwalificaties’, terwijl 25 procent van de uitgebreid beoordeelde opleidingen ‘goed’ scoort. Dit is een aanzienlijk verschil, dat nauwelijks gecompenseerd wordt door de 1 procent meer scores van ‘excellent’ bij opleidingen in het beperkte regime.

Deze vergelijking beperkt zich tot het hbo. Vrijwel alle universiteiten hebben hun instellingstoets kwaliteitszorg gehaald, dus een vergelijking maken tussen de opleidingen die beperkt en uitgebreid zijn beoordeeld is nauwelijks mogelijk. De recente onvoldoendes in de geesteswetenschappen maken echter duidelijk dat ook in het wo het halen van een toets op instellingsniveau geen garantie is dat de kwaliteit op opleidingsniveau aan de maat is.

Ontwikkelingen in Vlaanderen op het gebied van kwaliteitszorg in het hoger onderwijs zijn voor Nederland altijd interessant. Nederland en Vlaanderen trekken hierin gezamenlijk op, in de Nederlands Vlaamse Accreditatie Organisatie NVAO. Het is dan ook de vraag wat de Vlaamse stap, als dit plan werkelijkheid wordt, voor Nederland gaat betekenen. Volgens De Standaard dient het Vlaamse voorstel echter nog goedgekeurd te worden door zowel regering als parlement. Het is op basis van deze cijfers te hopen dat politici in Vlaanderen nog eens goed nadenken, over het heil dat te verwachten is van een instellingstoets en of stoppen met controles op opleidingsniveau wel ‘de weg’ is.

János Betkó is senior auditor bij Netherlands Quality Agency.

* Zoals die bekend waren op de NVAO-site tussen maart 2012 en oktober 2014. Het gaat om beoordelingen van bestaande, Nederlandse opleidingen. Deze zijn handmatig geteld en in een overzicht gezet, waarbij verschillende varianten (voltijd, deeltijd, duaal, Associate Degree) los zijn geteld en in dit overzicht dus zijn weergegeven als verschillende opleidingen. Opleidingen die zowel hun beoordeling als hun herbeoordeling in deze periode gehad hebben, kunnen er dubbel in zijn opgenomen.
** Het gaat om standaard 3 bij de BOB en standaard 16 bij de UOB, volgens het momenteel geldende accreditatiekader.