Het vizier op scherp

Op deze webpagina lees je het volledige digitaal toegankelijke evaluatierapport 'Het vizier op scherp'. Je kunt het rapport ook downloaden in pdf. De pdf-versie voldoet niet aan de eisen van digitale toegankelijkheid.

• AWTI: Adviesraad voor wetenschap, technologie en innovatie
• CHEPS: Center for Higher Education Policy Studies
• Hbo: Hoger beroepsonderwijs
• Mbo: Middelbaar beroepsonderwijs
• Ministerie van OCW: Ministerie van Onderwijs, Cultuur en Wetenschap
• NRO: Nationaal Regieorgaan Onderwijsonderzoek
• NWA: Nationale Wetenschapsagenda
• NWO: Nederlandse Organisatie voor Wetenschappelijk Onderzoek
• PMC: Projectmatig Creëren
• Regieorgaan SIA: Nationaal Regieorgaan Praktijkgericht Onderzoek SIA
• VH: Vereniging Hogescholen
• VIPOC: Verbetering Interne Procedure Openstellen Call
• VIPUC: Verbetering Interne Procedure Uitvoering Call
• Wo: Wetenschappelijk onderwijs

“Alleen middelmatigheid ontsnapt aan kritiek”

John Steinbeck, Amerikaans auteur en Nobelprijswinnaar literatuur (1962) 1902-1969

De titel van de zelfevaluatie van Regieorgaan SIA ‘Beweging in beeld’ geeft goed weer wat de evaluatiecommissie de afgelopen maanden heeft gezien en gehoord. Het regieorgaan is flink in beweging, het heeft de afgelopen jaren een forse groei doorgemaakt en er zijn veel successen te vieren. Successen die niet altijd de aandacht krijgen die ze verdienen.

De commissie heeft veel waardering ontmoet voor het werk van Regieorgaan SIA en oordeelt zelf ook positief over de bijdrage en de belangrijke functie die het regieorgaan – nog steeds en noodzakelijkerwijs – heeft. Juist daarom is de toon van het rapport kritisch. De commissie heeft haar rol als critical friend serieus genomen.

Er is nog veel te doen voordat het praktijkgericht onderzoek in Nederland een volwaardige positie heeft in de kennisketen. De commissie wenst Regieorgaan SIA toe dat zij in de laatste fase van de convenantsperiode nog een aantal belangrijke resultaten kan verzilveren. Dat vraagt om een heldere alignment van doelstellingen, strategie en instrumentarium. De titel van dit evaluatierapport 'Vizier op scherp' verwijst hiernaar.

In de periode januari – juli 2020 heeft een onafhankelijke externe commissie, in opdracht van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO), het Nationaal Regieorgaan Praktijkgericht Onderzoek SIA (Regieorgaan SIA) geëvalueerd.

De evaluatie richt zich op de vraag in hoeverre Regieorgaan SIA de doelstellingen zoals verwoord in het Convenant bereikt, dan wel in hoeverre het aannemelijk is dat Regieorgaan SIA de doelstellingen binnen de convenantsperiode zal bereiken. Een laatste evaluatie staat gepland eind 2022.

Ter beantwoording van deze vraag heeft de commissie kennisgenomen van de zelfevaluatie en een reeks van rapporten, gesproken met stakeholders en met bestuur en medewerkers van het regieorgaan.

De commissie heeft veel waardering ontmoet voor het werk van Regieorgaan SIA en oordeelt zelf ook positief. Tegelijkertijd stelt de commissie vast dat er nog veel te doen is voordat het praktijkgericht onderzoek in Nederland een volwaardige positie heeft in de kennisketen.

De evaluatiecommissie acht het noodzakelijk dat Regieorgaan SIA vanuit een einddoel duidelijke mijlpalen formuleert en deze vervolgens operationaliseert. Pas dan kan bepaald worden hoe en met welk instrumentarium scherp gestuurd kan worden op het behalen van deze mijlpalen.

Aanbevelingen

Op basis van de evaluatievragen komt de commissie met de volgende aanbevelingen:

• De aanbeveling uit 2017 omtrent inhoudelijke sturing blijft geldig en verdient continue strategische aandacht en een kritische zelfblik van organisatie en management. Een scherpere operationalisering van het einddoel is vereist om krachtig te kunnen sturen op de realisatie ervan.
• Bevorder het leereffect bij aanvragers. Verbind de criteria waarop wordt beoordeeld helder aan de doelstellingen van het regieorgaan.
• Maak een helder onderscheid tussen het verbeteren van de efficiëntie van de eigen organisatie (interne verbetertrajecten) versus het in beeld brengen van de impact van de activiteiten van Regieorgaan SIA op het verbeteren van de positie van het praktijkgericht onderzoek (externe verbetertrajecten).
• Formuleer heldere mijlpalen die de stappen markeren naar het beoogde einddoel: het structureel inbedden van het praktijkgericht onderzoek in de publieke kennisinfrastructuur en het creëren van een volwaardige tweede geldstroom voor praktijkgericht onderzoek. Zorg daarnaast dat zowel resultaat als impact van projecten tastbaar en zichtbaar worden. Het einddoel ligt niet binnen de convenantsperiode, de mijlpalen liggen zowel hierbinnen als hierna.
• Definieer de beoogde impact en kies voor een instrumentarium dat sterk stuurt op de structurele inbedding en een volwaardige positie van het praktijkgericht onderzoek binnen hogescholen en de kennisketen.
• Richt het bestuur in op basis van de gewenste achtergrond en capaciteiten van bestuursleden, met een persoonlijk profiel en competenties passend bij de overkoepelende visie (ook voorbij de huidige convenantsperiode) van Regieorgaan SIA. Neem een afgevaardigde van het NWO-bestuur op in de bestuurlijke organisatie van Regieorgaan SIA om bestuurlijke wrijving weg te nemen. Kies een voorzitter die fungeert als boegbeeld voor het praktijkgericht onderzoek.
• Houd het projectmatig werken vast en vertaal dit door naar externe processen.
• Formuleer een meerjarenstrategie met een einddoel en duidelijke mijlpalen. Stuur en monitor van daaruit op meetbare resultaten op projectniveau.

Daarnaast heeft de commissie een viertal aanbevelingen op grond van de bevindingen tijdens de evaluatie:

• De naam Regieorgaan SIA verwijst naar de regierol die aan deze organisatie is toegekend. Wees helder over hoe deze rol wordt ingevuld en op welk vlak, en waar niet.
• Stem in het kader van het leereffect waar mogelijk de procedures af op de Europese procedures.
• Overweeg de rol van het mbo in de kennisketen bij het vormgeven van het vervolg na de convenantsperiode.
• Gebruik succesverhalen om de toegevoegde waarde van praktijkgericht onderzoek te laten zien en positief af te laten stralen op zowel het hbo als Regieorgaan SIA

Dit rapport bevat de bevindingen, aanbevelingen en conclusies van de externe evaluatiecommissie van het Nationaal Regieorgaan Praktijkgericht Onderzoek (Regieorgaan SIA). Dit regieorgaan is in 2013 opgericht door het Ministerie van OCW, NWO en de partners in de sinds 2003 bestaande Stichting Innovatie Alliantie (SIA).

In 2014 werd Regieorgaan SIA een zelfstandige organisatie binnen de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO). Hiervoor is een convenant opgesteld dat loopt van 2013-2023.

De huidige evaluatie is de tweede evaluatie in een reeks. De eerste evaluatie is uitgevoerd in 2017, de laatste staat gepland voor 2022.

Het doel van deze evaluatie is om te reflecteren op de vraag in hoeverre Regieorgaan SIA de doelstellingen zoals verwoord in het convenant bereikt, dan wel in hoeverre het aannemelijk is dat Regieorgaan SIA de doelstellingen binnen de convenantsperiode zal bereiken.

De evaluatiecommissie baseert zich op verschillende schriftelijke bronnen, waaronder de zelfevaluatie van Regieorgaan SIA, het evaluatierapport “Zonder wrijving geen glans” uit 2017, het Convenant waarmee Regieorgaan SIA is ingesteld en de Terms of Reference voor deze evaluatie. Overige schriftelijke bronnen staan vermeld in de bijlage.

Daarnaast heeft de evaluatiecommissie in de periode januari – juni interviews gehouden met bestuurders van belanghebbende organisaties. Omdat de voorziene site visit in maart geen doorgang kon vinden vanwege de maatregelen omtrent COVID-19, hebben er in de periode mei-juni online focusgroepen plaatsgevonden met het directieteam en de adviesraad van Regieorgaan SIA, met bestuurders van hogescholen, lectoren en lectoren platformen, universiteiten en kennisketen, mbo en bedrijfsleven.

Ook zijn er in de maand mei enquêtes afgenomen onder medewerkers van het regieorgaan, lectoren en overige stakeholders uit de kennisketen (voor een volledig overzicht, zie Bijlage C).

1.1 Cijfers en context

Verschillende rapportages over de stand van het praktijkgericht onderzoek laten zien dat het praktijkgericht onderzoek en de rol van het Regieorgaan SIA daarin zich de afgelopen jaren sterk ontwikkeld heeft. Zo bedroegen de investeringen in het praktijkgericht onderzoek in 2017 € 244 miljoen tegenover € 101 miljoen in 2009. In 2017 is 32% hiervan middelen uit de tweede geldstroom.

Regieorgaan SIA is de primaire verstrekker van tweede geldstroom middelen voor het praktijkgericht onderzoek aan hogescholen. Het praktijkgericht onderzoek omvat 6% van de middelen van hogescholen (gegroeid van 4,3% in 2012 naar 5,8% in 2017). De verhouding tussen het totale budget van Regieorgaan SIA en het totale budget van NWO was in 2018 1:25.

Hogescholen ervaren knelpunten in de bekostiging van onderzoek in het algemeen en de balans tussen geldstromen is volgens de AWTI, CHEPS en de hogescholen zelf niet optimaal omdat tweede en derde geldstroom vaak een vorm van matching vergen uit de eerste geldstroom, wat resulteert in druk op de onderzoeksbudgetten.

Het overgrote deel van de 36 hogescholen doet subsidieaanvragen bij Regieorgaan SIA. In totaal waren er in 2018 vijf hogescholen die geen (ontvankelijke) aanvraag indienden bij Regieorgaan SIA. Een vooruitgang vergeleken met 2016 en 2017: toen deden acht hogescholen geen aanvraag.

Er is een duidelijk verschil te zien in het aantal aanvragen door kleine en grote hogescholen. In totaal werd 81% van de aanvragen in 2018 gedaan door hogescholen met meer dan 10.000 studenten. Het aantal aanvragen per student is niet hoger bij grote hogescholen dan bij kleine hogescholen.

In 2018 werd 73% van alle aanvragen gehonoreerd; dit betreft zowel aanvragen in de competitieve RAAK-regelingen als in regelingen als KIEM, waar aanvragen first come, first serve worden beoordeeld. In 2018/2019 werd 40% van alle RAAK-aanvragen gehonoreerd.

Het slagingspercentage voor kleine hogescholen ligt hoger dan dat van grote hogescholen. Hogescholen met minder dan 10.000 studenten hadden in 2018 een gemiddeld slagingspercentage van 87%. Voor hogescholen met meer dan 10.000 studenten was dit gemiddeld 74%.

In 2018 ontvingen hogescholen gemiddeld zo’n €465.000 euro subsidie. Het hoogste bedrag per hogeschool bedroeg zo’n €2,26 miljoen euro, het kleinste bedrag was €18.548 euro.

Het praktijkgericht onderzoek en Regieorgaan SIA zijn goed bekend bij hogescholen, maar veelal onbekend bij andere wetenschappelijke gremia. Dit bleek tijdens diverse gesprekken die de evaluatiecommissie voerde.

Praktijkgericht onderzoek moet bekender worden en haar economische en maatschappelijke waarde voor Nederland duidelijker. Op dit moment is er nog te weinig informatie beschikbaar over de impact op korte en lange termijn van het praktijkgericht onderzoek en de bijdrage van Regieorgaan SIA daaraan.

Randvoorwaarden voor impact, zoals een goede verbinding tussen onderzoek en onderwijs en samenwerking met de beroepspraktijk zijn in toenemende mate aanwezig.

1.2 Leeswijzer

Het Regieorgaan SIA streeft ernaar het praktijkgericht onderzoek van hogescholen te stimuleren, structureel in te bedden in de bestaande publieke kennisinfrastructuur en een basis te leggen voor het ontwikkelen van een volwaardige tweede geldstroom voor praktijkgericht onderzoek van hogescholen.

Daarvoor is het volgens de evaluatiecommissie noodzakelijk dat Regieorgaan SIA vanuit een einddoel duidelijke mijlpalen formuleert en deze vervolgens operationaliseert. Pas dan kan bepaald worden hoe en met welk instrumentarium scherp gestuurd kan worden op het behalen van deze mijlpalen. De commissie raadt aan om de tekst met deze overkoepelende conclusie voor ogen te lezen.

Dit rapport houdt de volgorde aan van de evaluatievragen uit de Terms of Reference. In hoofdstuk 2 wordt ingegaan op de aanbevelingen van de vorige evaluatie uit 2017 en het gevolg dat Regieorgaan SIA hieraan heeft gegeven. In hoofdstuk 3 komen de activiteiten van Regieorgaan SIA aan bod en de bijdrage aan de doelstellingen zoals geformuleerd in het convenant.

Hoofdstuk 4 besteedt aandacht aan de besturing en inrichting van het regieorgaan. Hoofdstuk 5 gaat in op de kwaliteit en transparantie van de processen van Regieorgaan SIA. Hoofdstuk 6 gaat in op de visie van Regieorgaan SIA op de toekomst van het regieorgaan. Ten slotte sluit hoofdstuk 7 af met algemene bemerkingen en aanbevelingen van de evaluatiecommissie.

Ieder hoofdstuk begint met een introductie van de evaluatievraag waarop het hoofdstuk betrekking heeft.

Dit hoofdstuk gaat in op de evaluatievraag wat Regieorgaan SIA gedaan heeft met de aanbevelingen van de evaluatie 2017.

2.1 Situatie

In de evaluatie van 2017 zijn de volgende aanbevelingen gedaan:

• De commissie beveelt aan dat Regieorgaan SIA vanuit een overkoepelende visie en een bewust differentiatiebeleid sterker inhoudelijk sturing geeft aan de ontwikkeling van het praktijkgericht onderzoek van de hogescholen
• De commissie beveelt aan om samen met de stakeholders de bestuurlijke structuur van het regieorgaan te heroverwegen, zodat de regierol beter kan worden ingevuld
• De commissie beveelt aan om de transparantie van en de terugkoppeling in het beoordelingstraject te verhogen en kritisch te kijken naar de efficiency en de randvoorwaarden en procedures
• De commissie beveelt aan om voor verbetertrajecten meetbare doelstellingen met bijpassende tijdslijnen te formuleren
• De commissie beveelt aan om concreet te maken welke (deel)resultaten Regieorgaan SIA in 2020 en 2022 (de volgende evaluaties) wenst te hebben gehaald.

2.1.1. Inhoudelijke sturing

In haar reactie op de evaluatie uit 2017 geeft Regieorgaan SIA aan dat de ontwikkeling van het praktijkgericht onderzoek in Nederland een systeeminnovatie is, die alleen gerealiseerd kan worden in samenwerking met stakeholders en waarvoor de verantwoordelijkheid ligt bij het Ministerie van OCW.

Regieorgaan SIA heeft naar aanleiding van deze aanbeveling de wenselijkheid van een overkoepelende nationale visie onder de aandacht gebracht bij het Ministerie van OCW en de Vereniging Hogescholen. Dit resulteerde in een verkenning naar de toekomst van het praktijkgericht onderzoek.

De eigen strategie van Regieorgaan SIA is in 2018 geactualiseerd. Er zijn vier strategische lijnen aangebracht en relevante beleidsmatige ontwikkelingen zijn opgenomen in de strategie.

Regieorgaan SIA zet in op specifieke thema’s vanuit het topsectorenbeleid, de NWA en het missiegedreven innovatiebeleid. Bijbehorende ondernomen acties zijn de investering in lectorenplatforms, lancering van het SPRONG instrument, een gezamenlijke call door Regieorgaan SIA en NRO en het programma GoChem voor de topsector Chemie.

2.1.2 Bestuurlijke structuur

De Raad van Bestuur van NWO benoemt de leden van het bestuur van Regieorgaan SIA op voordracht van de convenantspartners. De leden nemen zitting op persoonlijke titel.

Momenteel bestaat het bestuur van Regieorgaan SIA uit zeven bestuursleden en is een combinatie van hoogleraren, bestuurders van hogescholen en (vertegenwoordigers van) ondernemers. Op 1 maart 2020 is de voorzitter van het bestuur teruggetreden, waardoor er momenteel een waarnemend voorzitter is.

Regieorgaan SIA gaf in 2017 aan dat zij de aanbeveling om de bestuurlijke structuur te heroverwegen gebaseerd vond op een onterechte zorg. Volgens het regieorgaan is met de huidige bestuurlijke structuur en samenstelling de bestuurlijke toegang tot de belangrijkste actoren in het Nederlandse kennissysteem voldoende geborgd. Omdat bestuursleden op persoonlijke titel zitting nemen in het bestuur, is er volgens het regieorgaan ook voldoende ruimte voor deze personen om onafhankelijk te kunnen opereren.

Naar aanleiding van de aanbeveling heeft Regieorgaan SIA in 2018 een onafhankelijke adviesraad ingesteld, die gevraagd en ongevraagd advies geeft aan het bestuur. Ook is het bestuursreglement aangepast. Uitgangspunten voor goed bestuur zijn daarin vastgelegd en de profielen van directeur, adviesraad, beoordelingscommissies en ad-hoc commissies zijn nader beschreven.

2.1.3 Beoordelingstraject

Regieorgaan SIA geeft in haar zelfevaluatie aan dat de groei van het instrumentarium en het bureau van Regieorgaan SIA in de afgelopen jaren het noodzakelijk maakte om te investeren in het vastleggen en harmoniseren van de werkwijzen en procedures. Er is een intern project gestart genaamd “Verbetering Interne Procedure Openstellen Call” (VIPOC). Ook zijn verschillende verbeteringen doorgevoerd voor beoordelingscommissies. Deze hebben betrekking op het handboek, scoresysteem, zittingsduur van commissieleden en de invulling van de vergaderingen. Ook zijn nieuwe formats en handboeken opgesteld voor aanvragen en processen en is de doorlooptijd tussen aanvraag en besluit voor kleinere regelingen verkort.

2.1.4 Meetbare doelstellingen voor verbetertrajecten

Regieorgaan SIA heeft de afgelopen jaren de aanpak Projectmatig Creëren (PMC) ingevoerd. Deze werkwijze is toegepast bij het verbeteren van procedures en verkenningen, en bij het ontwikkelen van nieuwe regelingen. Bij de PMC-aanpak wordt vooraf aan een nieuwe project tijd ingeruimd om het projectdoel en de gewenste resultaten te bepalen. Aan het eind van elk project wordt een reflectie uitgevoerd. Zaken die tot op heden nog niet geïmplementeerd zijn, worden opgepakt in het vervolgtraject PMCII.

Daarnaast heeft Regieorgaan SIA gewerkt aan het realiseren van een toekomstbestendig informatiesysteem, dat begin 2020 is opgeleverd. Het is de bedoeling dat hierin de indicatoren voor het bereik van Regieorgaan SIA gekoppeld worden aan kwantitatieve streefwaarden (zie paragraaf 2.1.5).

2.1.5 (Deel)resultaten 2020 en 2022

Naar aanleiding van de aanbeveling uit 2017 om meetbare doelstellingen met bijpassende tijdslijnen voor verbetertrajecten te formuleren, heeft Regieorgaan SIA geprobeerd kwantitatieve streefwaarden vast te stellen. Dit bleek lastig vanwege het ontbreken van een nationaal referentiekader. Deze context is volgens Regieorgaan SIA inmiddels (met de publicatie in 2019 van de Verkenning en Strategische Agenda Hoger Onderwijs en Onderzoek) aanwezig. Het regieorgaan geeft aan vanuit deze context de strategie verder te gaan concretiseren, en een referentiekader vast te stellen van waaruit kwantitatieve streefwaarden kunnen worden bepaald, waarop gestuurd kan worden.

In de zelfevaluatie geeft Regieorgaan SIA aan dat er, hoewel resultaten vooraf niet geëxpliciteerd waren, wel concrete resultaten behaald zijn. Het regieorgaan herkent echter dat het vastleggen van beoogde resultaten wel degelijk richting kan geven aan activiteiten en plannen. Voor 2023 zijn er daarom resultaten geformuleerd in het document Prioriteiten 2020-2023.

2.2 Standpunt van de commissie

2.2.1 Inhoudelijke sturing

De evaluatiecommissie constateert dat de aanbeveling niet volledig is opgevolgd. De beschrijvingen van de beoogde resultaten zijn nog te algemeen. Sturing op basis van begrippen die niet eenduidig geconcretiseerd zijn, helpt hierbij niet.

Kaders en een concreet actieplan om de doelstellingen te behalen ontbreken. Het is niet duidelijk hoe invulling gegeven gaat worden aan het differentiatiebeleid en hoe gestuurd gaat worden op een meetbaar en vooraf gesteld resultaat. Waar het regieorgaan op dit moment focust op differentiatie naar de thema’s van het innovatiebeleid, moet er volgens de evaluatiecommissie met name gedifferentieerd worden naar verschillende praktijken. Het veld van het praktijkgericht onderzoek is geen universeel veld, maar bestaat uit verschillende sectoren met verschillende culturen en structuren. De opzet en doorwerking van het praktijkgericht onderzoek moet daarop aansluiten.

De evaluatiecommissie ziet dat Regieorgaan SIA zich bewust is geworden van de noodzaak van een overkoepelende visie en heldere sturing. De Verkenning Praktijkgericht Onderzoek op Hogescholen en het SPRONG-instrument zijn stappen in de goede richting.

De evaluatiecommissie constateert dat het praktijkgericht onderzoek de afgelopen jaren een steeds belangrijkere plek is gaan innemen in de kennisketen, zoals blijkt uit verschillende bronnen die geraadpleegd zijn voor deze evaluatie. De verschillende stakeholders benadrukken dat Regieorgaan SIA daar een belangrijke rol in heeft gespeeld en dat deze rol ook de komende jaren nodig blijft.

Aanbeveling van de commissie
De aanbeveling uit 2017 blijft geldig en verdient continue strategische aandacht en een kritische zelfblik van organisatie en management. Een scherpere operationalisering van het einddoel is vereist om krachtig te kunnen sturen op de realisatie ervan.

2.2.2 Bestuurlijke structuur

Het heroverwegen van de bestuurlijke structuur is volgens de evaluatiecommissie een geldige aanbeveling geweest. De evaluatiecommissie constateert echter dat de bestuurlijke structuur van Regieorgaan SIA tot op heden niet is veranderd. Wel zijn er bestuursleden gewisseld. De evaluatiecommissie ziet dat het regieorgaan op dit moment wel degelijk de noodzaak ziet van een bestuurlijke inrichting die aansluit op de strategische agenda. Er lijkt nu draagvlak te zijn om de aanbeveling uit 2017 alsnog op te pakken.

De evaluatiecommissie ziet dat Regieorgaan SIA in een andere fase is gekomen, waarbij het passend is als bestuursleden op basis van persoonlijk profiel en competenties in lijn met een overkoepelende visie worden aangesteld.

Aanbeveling van de commissie
Zie de aanbeveling in hoofdstuk 4.

2.2.3 Beoordelingstraject

De evaluatiecommissie constateert dat er vanuit subsidieaanvragers een blijvende vraag is naar transparantie over de beoordeling van projectaanvragen. De commissie vindt dat Regieorgaan SIA kritisch naar mogelijke verbeterpunten gekeken heeft en goede stappen gezet heeft in het opstellen van nieuwe instrumenten en aanpassen van de beoordelingsprocedures. De blijvende vraag naar transparantie duidt volgens de evaluatiecommissie op een behoefte te kunnen leren van afwijzingen. Daarvoor is voorspelbaarheid belangrijk. De commissie ziet dat Regieorgaan SIA dit in sommige trajecten ook toepast. In het kader van het leereffect is het van belang om hier maximaal op in te zetten.

De toegankelijkheid van Regieorgaan SIA voor aanvragers blijkt hoog. Het bureau wordt makkelijk benaderd door aanvragers en reageert goed op de vragen van hogescholen en onderzoekers. In enkele gevallen heeft deze betrokkenheid van het regieorgaan ook een lerend effect gehad. Omdat er nog grote verschillen bestaan tussen hogescholen in de mate waarin onderzoek onderdeel is van de cultuur en organisatie, raadt de commissie aan om terugkoppeling omtrent het beoordelingsproces te richten op het faciliteren van het leerproces van aanvragers en de administratieve last laag te houden.

Het regieorgaan zelf kan eveneens blijven leren door de inrichting van procedures, beoordeling en toekenning te baseren op de beoogde impact van instrumenten.

Aanbeveling van de commissie
Bevorder het leereffect bij aanvragers. Verbind de criteria waarop wordt beoordeeld helder aan de doelstellingen van het regieorgaan.

2.2.4 Meetbare doelstellingen voor verbetertrajecten

Regieorgaan SIA heeft met het instellen van het projectmatig creëren (PMC) intern een groot verbetertraject doorlopen en heeft nog een tweede interne slag voor ogen met het vervolgtraject PMCII. De commissie is positief over het feit dat Regieorgaan SIA de interne organisatie heeft verbeterd, waarbij er een cultuur is ingevoerd waar het continu leren en projectmatig werken de standaard zijn.

De commissie ziet uit naar het nieuwe informatiesysteem (zie ook paragraaf 2.1.5).

Aanbeveling van de commissie
Maak een helder onderscheid tussen het verbeteren van de efficiëntie van de eigen organisatie (interne verbetertrajecten) versus het in beeld brengen van de impact van de activiteiten van Regieorgaan SIA op het verbeteren van de positie van het praktijkgericht onderzoek (externe verbetertrajecten).

2.2.5 (Deel)resultaten voor 2020 en 2022

De veranderingen die Regieorgaan SIA heeft gedaan naar aanleiding van deze aanbeveling zijn alleen doorgevoerd op organisatieniveau en passen met name bij de vorige aanbeveling over interne verbetertrajecten. Op projectniveau is impactmeting nog steeds beperkt, waardoor er weinig te zeggen is over de effecten van het werk van het regieorgaan en alles wat het daarmee in werking heeft gesteld.

Uit de literatuur en gesprekken die de commissie gevoerd heeft blijkt dat de stand van het praktijkgericht onderzoek in Nederland de afgelopen jaren aantoonbaar verbeterd is. Stakeholders hebben daarbij een positieve perceptie van de impact van het werk van Regieorgaan SIA daarop. Lectoren geven aan dat het jammer is dat alleen gevraagd wordt om op resultaat (output) niveau te rapporteren en niet op impactniveau. Daardoor blijft volgens hen onderbelicht dat er - op langere termijn - ook sprake is van (maatschappelijk) rendement van projecten.

Het feit dat het regieorgaan nog geen duidelijk beeld heeft van de impact die zij wil genereren en momenteel genereert, is volgens de evaluatiecommissie een gemiste kans. Door het meten van de impact (ook op langere termijn), kan het regieorgaan én de ontwikkeling van het praktijkgericht onderzoek én haar aandeel in de ontwikkeling van het praktijkgericht onderzoek in Nederland duidelijker laten zien.

Aanbeveling van de commissie
Formuleer heldere mijlpalen die de stappen markeren naar het beoogde einddoel: het structureel inbedden van het praktijkgericht onderzoek in de publieke kennisinfrastructuur en het creëren van een volwaardige tweede geldstroom voor praktijkgericht onderzoek. Zorg daarnaast dat zowel resultaat als impact van projecten tastbaar en zichtbaar worden. Het einddoel ligt niet binnen de convenantsperiode, de mijlpalen liggen zowel hierbinnen als hierna.

Dit hoofdstuk gaat in op de evaluatievraag hoe de activiteiten en strategie van Regieorgaan SIA bijdragen aan het bereiken van de doelstellingen van het regieorgaan zoals verwoord in het Convenant.

3.1 Situatie

Regieorgaan SIA heeft als doel “het stimuleren van praktijkgericht onderzoek van hogescholen en in het verlengde daarvan het stimuleren van de toepassing van kennis in bedrijven en instellingen en in het onderwijs van hogescholen”. Daarbij horen de ambities:

• Praktijkgericht onderzoek structureel inbedden in de bestaande publieke kennisinfrastructuur
• Een basis leggen voor het ontwikkelen van een volwaardige tweede geldstroom voor praktijkgericht onderzoek van hogescholen

Activiteiten die het regieorgaan hiertoe ontwikkelt, zijn:

• Het toekennen van onderzoekssubsidies vanuit geoormerkte middelen
• Het fungeren als platform voor pre-competitieve samenwerking
• Het ontwikkelen van een relevant netwerk
• Het monitoren van de impact van de activiteiten
• Het adviseren van opdrachtgevers en stakeholders binnen het veld van praktijkgericht onderzoek en binnen de kennisketen.

Terugkijkend op de afgelopen jaren, geeft Regieorgaan SIA in haar zelfevaluatie aan trots te zijn op hetgeen er bereikt is. Ontwikkelingen rondom de Kennis- en Innovatiecontracten, de NWA en het missiegedreven innovatiebeleid hebben vormgegeven aan de huidige portfolio.

Doorontwikkeling van de strategie en het bevorderen van de kwaliteit van het praktijkgericht onderzoek en het sturen op impact zullen opnieuw tot een herijking van de portfolio leiden, verwacht het regieorgaan. De ambitie is daarbij om de komende jaren gerichter te sturen op de portfolio van de programma’s, regelingen en andere activiteiten.

Een deel van de lectoren geeft in gesprekken met de evaluatiecommissie aan dat de aansluiting die het Regieorgaan SIA zoekt met het missiegedreven innovatiebeleid als top-down wordt ervaren. Vooral bij ondersteuning via lichtere instrumenten zoals de lectorenplatforms wordt ruimte voor bottom-up initiatief gewaardeerd.

De verschillende activiteiten die ondernomen worden door Regieorgaan SIA worden zeer gewaardeerd door lectoren en overige stakeholders. Zowel binnen als buiten het regieorgaan geeft men aan dat de activiteiten een grote bijdrage leveren aan het praktijkgericht onderzoek in Nederland.

Stakeholders zien het regieorgaan als een verbinder en netwerker die midden in het veld staat en het praktijkgericht onderzoek aan hogescholen helpt versterken.

3.2 Standpunt van de commissie

Ondanks de waardering van de stakeholders mist de commissie de verbinding binnen de cyclus van strategie naar operatie en evaluatie. Dit maakt het lastig om te beoordelen in welke mate en hoe de activiteiten bijdragen aan de doelstellingen.

Het instrumentarium kan nog passender gemaakt worden om tot duurzame groei van het praktijkgericht onderzoek te komen. Instrumenten zoals de lectorenplatformen, de SPRONG regeling en de L.INT-regeling dragen hier volgens de commissie al aan bij.

Aanbeveling van de commissie
Definieer de beoogde impact en kies voor een instrumentarium dat sterk stuurt op de structurele inbedding en een volwaardige positie van het praktijkgericht onderzoek binnen hogescholen en de kennisketen.

Dit hoofdstuk gaat in op de evaluatievraag op welke manier de besturing en inrichting van Regieorgaan SIA bijdraagt aan het bereiken van de doelstellingen zoals verwoord in het Convenant.

4.1 Situatie

Regieorgaan SIA heeft een zelfstandige positie in de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO). NWO draagt als formele rechtspersoon en bestuursorgaan de eindverantwoordelijkheid voor Regieorgaan SIA.

In reactie op de evaluatie van 2017 geeft het bestuur van NWO aan dat de verankering van Regieorgaan SIA binnen NWO moet worden versterkt, om onderling een betere en effectievere afstemming te realiseren en om elkaar te versterken. Ook is daarbij expliciet gemaakt door NWO dat verdere institutionele en inhoudelijke verbinding tussen NWO en Regieorgaan SIA niet mag betekenen dat het budget van Regieorgaan SIA onder druk komt te staan.

Regieorgaan SIA geeft aan zich in te willen zetten om de verbinding met de nieuwe NWO-organisatie wederzijds profijtelijk te maken. Zij constateert echter dat NWO “in de kern gericht is op het fundamentele onderzoek aan universiteiten” en voelt het daarom als haar opdracht om ervoor te zorgen dat het unieke karakter van het praktijkgericht onderzoek en het bijbehorende kwaliteitskader overeind blijven staan.

In de zelfevaluatie geeft Regieorgaan SIA aan dat inbedding in NWO meer tijd in beslag nam dan verwacht. Wel zijn er resultaten behaald omtrent eenduidigheid in de gebruikte terminologie, effectiever gebruik van het aanvraagsysteem ISAAC en harmonisatie binnen NWO van de gebruikte tarieven en loonkosten van hogescholen.

Regieorgaan SIA wijzigde ook zelf haar inrichting. Het stelde een formele managementlaag in (een directieteam) onder de algemeen directeur met personeelsverantwoordelijkheid en opdrachtgeverschap.

4.2 Standpunt van de commissie

Op basis van de gesprekken met mensen uit verschillende gremia komt naar voren dat het belangrijk is dat Regieorgaan SIA, gegeven de fase waarin het praktijkgericht onderzoek zich bevindt, haar zelfstandige positie binnen NWO behoudt. Daarbij geeft men aan dat het regieorgaan meer kan en moet profiteren van de inbedding binnen NWO, juist omdat de koppeling tussen wo en hbo door het veld als zeer nuttig wordt gezien.

In het recente verleden heeft wrijving op bestuurlijk niveau het functioneren van Regieorgaan SIA binnen NWO niet bevorderd. Op dit moment ziet de commissie bereidheid in beide organisaties om samen hierover het gesprek aan te gaan en beveelt dan ook aan om te formuleren waar de organisaties inhoudelijk samen naartoe werken (de inhoudelijke stip op de horizon).

Om de bestuurlijke connectie te versterken raadt de evaluatiecommissie aan om iemand van het NWO-bestuur plaats te laten nemen in het bestuur van Regieorgaan SIA. Daarbij is het noodzakelijk dat NWO het praktijkgericht onderzoek in woord en daad omarmt en daarin concrete stappen zet. De verschillende stakeholders geven aan dat dit op dit moment onvoldoende het geval is bij NWO.

Daarnaast raadt de evaluatiecommissie aan om het bestuur van Regieorgaan SIA in te richten op basis van de gewenste inhoudelijke achtergrond en capaciteiten van de leden en de binding met de convenantspartners los te laten (zie ook paragraaf 2.2.2). De voorzitter zou tevens een boegbeeld moeten zijn voor praktijkgericht onderzoek.

Dit is nodig om de belangrijke positie en het grote belang van het praktijkgericht onderzoek binnen de kennisketen, NWO en politiek duidelijk te maken en verder uit te dragen. Het actief invullen van deze rol is van groot belang voor de toekomstige effectiviteit van Regieorgaan SIA. Herkenning en erkenning, zowel maatschappelijk als politiek, zullen de komende periode moeten worden versterkt.

Aanbeveling van de commissie
Richt het bestuur in op basis van de gewenste achtergrond en capaciteiten van bestuursleden, met een persoonlijk profiel en competenties passend bij de overkoepelende visie (ook voorbij de huidige convenantsperiode) van Regieorgaan SIA. Neem een afgevaardigde van het NWO-bestuur op in de bestuurlijke organisatie van Regieorgaan SIA om bestuurlijke wrijving weg te nemen. Kies een voorzitter die fungeert als boegbeeld voor het praktijkgericht onderzoek.

Dit hoofdstuk gaat in op de evaluatievraag hoe de kwaliteit en transparantie van de processen van Regieorgaan SIA – waaronder het beoordelingsproces – zijn vormgegeven.

5.1 Situatie

Regieorgaan SIA geeft in de zelfevaluatie aan dat er de afgelopen jaren sterk is ingezet op de verbetering van de kwaliteit en transparantie van processen. Het regieorgaan is trots op de voortdurende verbetering van de procedures, die volgens hen nu aansluiten bij de financiële en juridische kaders binnen NWO (volgens de NWO-subsidieregeling 2017).

Verbeteringen die hebben plaatsgevonden zijn het hanteren van dezelfde tariefstructuur voor hogescholen door NWO in alle regelingen; de getrapte implementatie van het datamanagementbeleid van NWO; en deelname van medewerkers van Regieorgaan SIA in verbetertrajecten binnen NWO.

In het primair proces legt Regieorgaan SIA een aantal specifieke eigen accenten, bijvoorbeeld het proces dat is ontwikkeld voor de nazorg aan hogescholen waarvan de aanvraag niet is gehonoreerd.

Het regieorgaan wil ook in de toekomst aandacht houden voor verbetering van de processen, onder andere via het project “Verbetering Interne Procedure Uitvoering Call” (VIPUC) en door deelname aan het NWO-brede project Vesalius.

5.2 Standpunt van de commissie

De commissie is onder de indruk van de inbedding van nieuw personeel in de organisatie en de doorgevoerde verbetering van interne processen. De commissie is positief over het invoeren van het projectmatig werken (PMC) en de ontwikkeling van nieuwe, snelle beoordelingsprocessen voor instrumenten (zoals de KIEM-regeling).

Regieorgaan SIA is toegankelijk voor aanvragers, zowel voor, tijdens als na de procedure. Vanuit aanvragers is er echter een blijvende vraag naar transparantie. Het is daarom belangrijk bij externe processen te blijven focussen op voorspelbaarheid (zie paragraaf 2.2.3).

Aanbeveling van de commissie
Houd het projectmatig werken vast en vertaal dit door naar externe processen.

Dit hoofdstuk gaat in op de evaluatievraag wat de visie is van Regieorgaan SIA op de toekomst van het regieorgaan, gezien de ontwikkelingen in het onderzoeks- en innovatiebeleid, in de kennisketen in het algemeen en in het praktijkgericht onderzoek in het bijzonder.

6.1 Situatie

Sinds de vorige evaluatie heeft Regieorgaan SIA een strategie opgesteld voor de periode 2019-2022. Hierin wordt aangegeven dat het regieorgaan de ambitie heeft om “zich verder te ontwikkelen tot een sterke schakel in de verbinding tussen maatschappelijke vragen en het onderzoek van hogescholen. Als tweedegeldstroomorganisatie wil Regieorgaan SIA de vernieuwing en verdere uitbouw van het praktijkgericht onderzoek van hogescholen stimuleren en richten.”

De Verkenning Praktijkgericht Onderzoek op Hogescholen wordt gezien als kader om de visie op kwaliteit en impact aan te scherpen. Prioriteiten die geformuleerd zijn als onderdeel van de zelfevaluatie zijn:

1. Keuzes maken in het portfolio
2. Doorpakken met impact
3. Bondgenoot in het missiegedreven innovatiebeleid
4. Versterking positie in het kennisbestel

Het bestuur van het regieorgaan wil in 2020 een volledige set resultaten voor 2023 hebben vastgesteld. Als onderdeel van de zelfevaluatie heeft het regieorgaan al een eerste lijst met resultaten gepresenteerd voor de komende periode.

6.2 Standpunt van de commissie

De evaluatiecommissie vindt de missie en ambities van het Regieorgaan SIA duidelijk. De strategie is dat echter op dit moment nog niet. Deze is op een te hoog abstractieniveau geformuleerd waardoor inhoudelijke sturing en prioriteiten van Regieorgaan SIA niet scherp zijn.

Het praktijkgericht onderzoek heeft zich de afgelopen jaren sterk ontwikkeld. De rol van Regieorgaan SIA is daarin onmiskenbaar en wordt door de stakeholders herkend en erkend, met name de rol die het regieorgaan speelt als verbinder en netwerker. Een volgende stap is het strategisch sturen en het zetten van gerichte stappen om de doelstellingen van het regieorgaan te bereiken.

De evaluatiecommissie ziet voor zich dat Regieorgaan SIA zich richt op de inhoudelijke stip op de horizon namelijk structurele inbedding van het praktijkgericht onderzoek in de bestaande publieke kennisinfrastructuur, vervolgens formuleert welke de rol zij daarin wil en kan spelen en dit vertaalt naar een heldere strategie, uitgewerkt in een einddoel met mijlpalen. Waarbij de mijlpalen zowel de huidige convenantsperiode en de periode daarna beslaan.

Zo kan Regieorgaan SIA vanuit de inhoud werken aan een visie op de toekomst, formuleren wat zij inhoudelijk gaat bereiken en waar het zichzelf op wil afrekenen. Vervolgens kan er op basis daarvan gekeken worden welke processen, structuur en budget nodig zijn om dit te realiseren. De evaluatiecommissie geeft sterk in overweging om externe expertise aan te trekken om te helpen strategie, einddoel en mijlpalen scherp te krijgen.

Aanbeveling van de commissie
Formuleer een meerjarenstrategie met een einddoel en duidelijke mijlpalen. Stuur en monitor van daaruit op meetbare resultaten op projectniveau.

Dit hoofdstuk presenteert algemene bemerkingen en aanbevelingen van de evaluatiecommissie over Regieorgaan SIA en de context waarin het regieorgaan opereert. Het hoofdstuk gaat in op de financiële middelen, de regierol, het internationale en mbo-perspectief en het communiceren van succesverhalen. Daar waar van toepassing, is ook een aanbeveling voor het regieorgaan geformuleerd.

7.1 Financiële middelen

De commissie merkt op dat om tot een volwaardige inbedding van het praktijkgericht onderzoek in de kennisketen te komen het noodzakelijk is om de financiële middelen mee te laten groeien met de realisatie van deze ambitie. Blijvende inspanning om de positie van het praktijkgericht onderzoek te verbeteren moet uiteindelijk ook resulteren in het vergroten van de gelden die voor praktijkgericht onderzoek beschikbaar zijn.

7.2 Regierol

De naam Regieorgaan SIA verwijst naar de regierol, die aan deze organisatie is toegekend. Voor de verschillende stakeholders is niet altijd duidelijk waar en wanneer Regieorgaan SIA deze rol neemt en hoe zij deze invult.

Het kan gaan om agenderend zijn, praktijkgericht onderzoek op de politieke agenda houden, en hierin een bondgenoot zijn voor de Vereniging Hogescholen. Het kan gaan om het nemen van een actieve rol in de beïnvloeding van onderzoeksagenda’s en vervolgens de hogescholen actief ondersteunen in het oppakken van de geagendeerde onderzoeksthema’s.

Het kan gaan om het houden van regie op de wijze waarop Regieorgaan SIA zelf via een doelgericht instrumentarium mijlpalen realiseert op weg naar het einddoel: een volwaardige positie van praktijkgericht onderzoek in de kennisketen. Al deze regierollen zijn relevant. Het helpt wanneer Regieorgaan SIA deze rollen zelf helder benoemt.

Aanbeveling van de commissie
De naam Regieorgaan SIA verwijst naar de regierol die aan deze organisatie is toegekend. Wees helder over hoe deze rol wordt ingevuld en op welk vlak, en waar niet.

7.3 Internationaal

Het hbo onderzoeksinstrumentarium zoals ontwikkeld door Regieorgaan SIA, kwalificeert veel lectoraten om deel te nemen aan Europese projecten, vaak eerst binnen EFRO of Interreg, daarna via o.a. Horizon 2020 en Horizon Europe. Deze kwalificatie (van de meer geoefende hbo-instellingen), is een voorbeeld van de toegenomen volwassenheid van praktijkonderzoek binnen het hbo.

Vooral de RAAK-regeling kwalificeert lectoraten op inhoud en oefent hogescholen in de complexere procedures van Europese aanvragen. Naast dit leereffect, zal het in de komende periode nog belangrijker worden dat Regieorgaan SIA haar procedures waar nodig kan afstemmen op Europese procedures.

Aanbeveling van de commissie
Stem in het kader van het leereffect waar mogelijk de procedures af op de Europese procedures.

7.4 MBO

Praktijkgericht onderzoek vraagt om sterkere verbinding tussen hbo en mbo. Hbo is de brugfunctie tussen wo en mbo, maar in veel disciplines is het wo alleen indirect relevant. Het NRO, binnen NWO, speelt deze brugfunctie al goed als het gaat om onderwijskundige vraagstukken.

Momenteel zijn hbo en mbo financieel gescheiden containers, met vooral verbindingen via dubbelaanstellingen (lectoren die ook practoren zijn) of mbo docenten (die leden van kenniskringen zijn). Instrumenten moeten verbinding mogelijk maken op basis van gelijkwaardigheid.

In de financiering van mbo enerzijds en in praktijkgericht onderzoek binnen hbo anderzijds, is nog onvoldoende sprake van een wederzijds gelijkwaardige brug. Betere bruggen in praktijkgericht onderzoek kunnen bijdragen aan de ontwikkeling van een gemeenschappelijk taal tussen hbo en mbo.

Aanbeveling van de commissie
Overweeg de rol van het mbo in de kennisketen bij het vormgeven van het vervolg na de convenantsperiode.

7.5 Succesverhalen

De evaluatiecommissie constateert dat het werkveld overwegend enthousiast is over het werk en de rol van Regieorgaan SIA m.b.t. het praktijkgericht onderzoek. Tevens merkt de evaluatiecommissie op dat de uitstraling en bekendheid van het praktijkgericht onderzoek daarmee niet volledig in lijn is.

Het zou zowel voor Regieorgaan SIA als voor het praktijkgericht onderzoek goed zijn als de succesvolle resultaten en de impact die het praktijkgericht onderzoek heeft op de Nederlandse samenleving en economie meer, vaker en duidelijker gecommuniceerd wordt naar stakeholders en het algemene publiek. Het opbouwen van en presenteren van succesvolle onderzoeksresultaten wordt daarom aanbevolen door de commissie.

Aanbeveling van de commissie
Gebruik succesverhalen om de toegevoegde waarde van praktijkgericht onderzoek te laten zien en positief af te laten stralen op zowel het hbo als Regieorgaan SIA.

Voorzitter

• mw. prof. dr. M.J. Schuurmans (hoogleraar verplegingswetenschap, Universitair Medisch Centrum, Utrecht)

Leden

• dhr. dr. J. Alvarado Valenzuela (senior onderzoeker Hogeschool van Amsterdam)
• dhr. dr. P. van der Duin (directeur Stichting Toekomstbeeld der Techniek)
• mw. dr. M. Leurs (hoofd RIVM Centrum Gezondheid en Maatschappij)28
• mw. drs. D. Majoor (voormalig bestuurslid Hogeschool voor de Kunsten Utrecht)
• dhr. dr. M. Scheffer (voormalig gedeputeerde Gelderland vm. Lector Saxion hogescholen)
• dhr. dr. M. P. Velders (bestuursvoorzitter HollandBIO, directeur Prime Life Science)

Secretariaat

• mw. A. van Barneveld-Biesma (Technopolis Group)
• mw. ir. I.M.F. Oomens (Technopolis Group)

Organisatie en medewerkers

Regieorgaan SIA is op 1 januari 2014 gestart als zelfstandig onderdeel van NWO. Eind 2019 telde het Regieorgaan zo’n 40 medewerkers. De organisatie heeft binnen korte tijd een grote groei doorgemaakt. Dit kenmerkt zich doordat 22 van de 34 medewerkers (65%) die deelnamen aan de enquête voor deze evaluatie pas sinds 2018 werkzaam zijn bij het regieorgaan.

Zoals beschreven in paragraaf 4.1 kent het regieorgaan sinds 2019 een nieuwe organisatiestructuur met een directieteam. Deze is weergegeven in Figuur 2.

Middelen

De budgetopbouw van Regieorgaan SIA van 2014-2024 is weergegeven in Figuur 3.

Literatuur

Interviews

Focusgroepen