NQA voldoet als eerste en enige evaluatiebureau, dat het hoger beroepsonderwijs als thuisbasis heeft, aan de ESG.

Eind februari 2018 heeft NQA het review panel van ENQA (European Association for Quality Assurance in Higher Education) 2,5 dag op bezoek gehad als onderdeel van de beoordeling om NQA volwaardig lid te laten worden van ENQA. Een beoordeling die NQA vrijwillig heeft doorlopen en waarmee NQA, net zozeer als dat instellingen en opleidingen aan de ESG (European Standard Guidelines) moeten voldoen, als beoordelende organisatie aan de ESG moet voldoen. ‘Teach as you preach’ noem ik dat.

Waarde voor NQA van de beoordeling

NQA heeft de beoordeling als waardevol ervaren vooral doordat de inhoudelijke kwaliteit van onze beoordeling en uitvoeringspraktijk centraal stonden. Sinds jaar en dag is NQA al ISO-9001:2015 gecertificeerd en daarin misten we juist de beoordeling en waardering van de inhoudelijke kwaliteit van ons werk. En juist de inhoudelijke kwaliteit heeft het ENQA-panel hogelijk gewaardeerd. Het review panel spreekt bijvoorbeeld nadrukkelijk haar waardering uit voor het feit dat NQA met drie domeindeskundigen werkt en de wijze waarop zij dat vormgeeft. Daarnaast spreekt het review panel uit NQA een betrouwbaar evaluatiebureau in de zin dat ze haar beoordelingen betrouwbaar en grondig uitvoert.

Oordeel bestuur ENQA

In juni 2018 heeft deze waardering geleid tot een positief besluit van het bestuur van ENQA om NQA volwaardig lid te laten worden. De waardering daarbij is ‘substantial compliant met de ESG, oftewel een ‘goed’. Juist omdat dit een inhoudelijke beoordeling van het werk is zijn we trots op deze uitslag, die samengevat in de executive summary van het ENQA rapport luidt:

‘NQA is regarded as a competent organization that is managed efficiently and effectively. This includes aspects such as management of processes and panels, the running of schedules and the timely delivery of reports. NQA also enjoys good levels of satisfaction among external stakeholders (institutions,reviewers, NVAO, inspectorate) and internal ones (staff).
This should be particularly noted given the challenging context in which it operates, with strong competition between agencies and limited leverage in the overall operating framework for quality assurance’.

Audit inspireert

Zoals bij elke beoordeling, zo kent men ook NQA, zijn er ook zaken die kunnen verbeteren. Een aantal verbetersuggesties neemt NQA onverkort over. Een aantal verbetersuggesties zijn slechts ten dele realiseerbaar vanwege het spanningsveld tussen de generiek gestelde  European Standard Guidelines en de specifieke inrichting van het accreditatiestelsel in Nederland waar de beoordelingen uitgevoerd worden door private evaluatiebureaus en de besluitvorming bij de NVAO is belegd. Daardoor kan NQA niet fully compliant zijn op enkele European Standard Guidelines, Maar ook de, binnen de Nederlandse wetgeving, lastige verbetersuggesties hebben NQA wel aangespoord tot het nieuw doordenken van haar uitvoeringspraktijk.

Verbeteringen die NQA meteen na de audit heeft opgepakt

ESG 2.4 Peer review experts: oordeel panel ‘substantial compliant’.

ESG 2.5 Criteria for outcome: oordeel panel ‘substantial compliant’’

Het panel heeft de Nederlandse context goed in haar afweging betrokken, waarbij de rol van NQA zich beperkt tot het ondersteunen van opleidingen bij de selectie en samenstelling van het panel, maar daarin geen formele bevoegdheid heeft. Ook heeft het panel oog voor het feit dat de standaarden in het NVAO-beoordelingskader breed geformuleerd zijn en (te)veel ruimte voor interpretatie laten. Het panel heeft in dit licht geadviseerd de goede begeleiding nog verder te versterken. NQA volgt dit op, zeker omdat dit in onze ogen een kernkwaliteit betreft. Dit doen we door:

1. de aparte instructiebijeenkomst met de voorzitter van een panel over rol van de voorzitter en het beoordelingskader wordt voor minder ervaren voorzitters uitgebreid, waarbij stelselmatig een vast aantal onderwerpen altijd aan de orde komen
2. een pool van ervaren voorzitters (buddies) aan onervaren voorzitters te koppelen. Het is aan de minder ervaren voorzitter zelf om daar al dan niet gebruik van te maken. NQA gaat daarbij uit van de eigen professionele houding en verantwoordelijkheid van de voorzitter
3. naast de reguliere evaluatie na afloop van elke visitatie eenmaal per jaar een terugkomdag voor voorzitters en panelleden te organiseren om van elkaars ervaringen te leren, recente ontwikkelingen te bespreken en waar mogelijk verbeteringen aan te brengen
4. de borging van een correcte terugkoppeling aan het eind van het visitatiebezoek te vergroten. Daarom heeft NQA richtlijnen voor de terugkoppeling geformuleerd die vast onderdeel zijn tijdens de instructiebijeenkomst met de voorzitter.

ESG Thematic Analysis: oordeel panel: ‘partially compliant’

De thematische analyse is in Nederland door de wetgever bij de NVAO belegd. Het panel heeft dit in haar oordeel meegenomen en ziet ook de bescheiden rol die de evaluatiebureaus in de Nederlandse context op dit punt kunnen vervullen. Toch beveelt het panel NQA aan om haar brede ervaring in het borgen van opleidingskwaliteit bij de vele instellingen waar zij voor werkt met haar stakeholders te delen. NQA heeft daartoe besloten jaarlijks een thematische analyse te publiceren. De thematische analyse zal bepaald worden door de ervaringen die dat jaar door onze secretarissen en panels tijdens het beoordelen van opleidingen het meest in het oog springen

ESG 3.1. Activities, Policy and Processes for Quality Assurance: oordeel panel: ‘partially compliant’.

Onderdeel van deze ESG is het betrekken van de stakeholders in de ‘governance’ structuur’ van NQA. NQA heeft er bewust voor gekozen om de betrokkenheid van de stakeholders niet in een institutionele vorm te gieten, dat past niet bij de kwaliteitscultuur van NQA. NQA zet vooral in op de directe dynamische interactie met alle stakeholders en opdrachtgevers in plaats van de institutionalisering daarvan. Toch heeft de discussie met het panel NQA aangezet tot het nieuw doordenken van de huidige ‘governance’. Dat heeft ertoe geleid dat NQA jaarlijks, in combinatie met de hiervoor genoemde terugkomdag van panelleden, haar stakeholders betrekt bij de terugkomdag. Stakeholders die NQA in wisselende samenstelling uitnodigt afhankelijk van de voorliggende thema’s en bespreekpunten. Deze structuur doet recht aan de dynamiek die NQA voorstaat en biedt de mogelijkheid om die stakeholders erbij te betrekken die gegeven de onderwerpen de meeste toegevoegde waarde kunnen hebben in het gesprek.

Tot Slot

Met deze voorbeelden onderstreept NQA alleen maar de waarde die het hecht aan de ENQA-audit en de inhoudelijke verrijking die het aan ons werk geeft. Het draagt ertoe bij dat wij onze wijze van beoordelen voortdurend proberen te verbeteren en graag extern willen laten valideren. Verbeteren om de betrouwbaarheid en validiteit van de beoordelingen te borgen en daarmee onze klanten een betrouwbare spiegel voor te kunnen houden. Het volledige rapport van het review panel staat op onze website: http://www.nqa.nl/nl/over-nqa/enqa