Dutch follows English summary.

On white and blind spots

A committee of the Royal Academy has investigated if there are any white spots (subjects that are not covered) in the landscape of Dutch research. Their conclusion is that there are no white spots and just a few areas that we need to look after because they might become one in the future.

The main problem with this report is that everybody that had any input in it also had an interest in covering up any problems that might be there. Another bias in the research comes from the fact that they only asked people who have an important position within Dutch science, and are hence by definition not working in a white spot. In a sense the question in the report can be rephrased as “everybody who is not here, raise your hands”.

There is also a huge non-diversity bias in the committee itself (6 men and 1 woman) and in the group they consulted (21 men). All of them seem to have a native Dutch background. All these biases are easy to spot; basic statistical knowledge tells you that if your sample is not representative of the entire population you should be very careful in your conclusions. Yet, any critical discussion on the methods used is absent in this report.

Apart from neither talking to women nor to anyone involved in the primary process – and not even spotting that problem -, there are a few other blind spots in this report. An interesting one is that the Universities of Applied Science are totally missing. For more than 10 years they also have research groups, coordinated by so-called lectors. The minister is predicting that hundreds of new lectors will be appointed in the coming years. Presumably many will be appointed in areas that are not covered by research yet.

In conclusion: there are a fundamental flaws in the used methods that predetermine the outcome, irrespective of the reality. The main value of this report lies in collecting information in one place, not in its conclusions.

Over witte en blinde vlekken

Recent is het rapport “ruimte voor ongebonden onderzoek” verschenen van een commissie van de KNAW over witte vlekken in het Nederlandse onderzoekslandschap. De conclusie in dat rapport is dat er eigenlijk geen witte vlekken zijn, hooguit wat gebieden die aandacht behoeven om te voorkomen dat ze zich tot witte vlek gaan ontwikkelen.

Het rapport zelf heeft echter nogal wat beperkingen, het noemt een aantal problemen niet en, hoewel het een rapport van wetenschappers is, bevat het ook geen kritische analyse van de mogelijke tekortkomingen van de gebruikte methode.

De methode waarop de commissie tot hun conclusie is gekomen bestond uit bestudering van rapporten uit de verschillende wetenschapsgebieden, uit het afnemen van enquetes onder decanen en leden van de KNAW en de Jonge Academie en gesprekken met vooraanstaande mannen in het veld. Hier hoeven we niet eens het meer politiek correcte ‘mensen’ te gebruiken. De commissie bestond (afgaande op de voornamen) uit 6 mannen en 1 vrouw en 100% van de gesprekspartners zijn mannen geweest. Afgaande op de achternamen heeft iedereen ook een solide Nederlandse achtergrond. Dan horen bij elke wetenschapper met een beetje kennis van de statistiek alle alarmbellen af te gaan. Als je onderzoeksselectie dermate afwijkt van de gehele populatie dan moet je dat corrigeren of in elk geval noemen als serieuze beperking in de (afwezige) discussie.

Een tweede bias probleem dat aangekaard had moeten worden, is dat iedereen in de commissie en die input heeft gegeven per definitie niet uit een witte vlek komt. De gevolgde methode loopt dus het gevaar dat het leidt tot “wil iedereen die er niet is zijn hand opsteken?”. Het is onduidelijk of de commissie dat gevaar heeft onderkend en welke maatregelen zij genomen heeft om daarvoor te corrigeren.

Een nog serieuzer probleem is dat geen van de betrokkenen er belang bij heeft om witte vlekken aan te wijzen. We leven in een afrekencultuur waarbij iedereen voortdurend geëvalueerd wordt. Als bv een decaan dan zou melden dat er in zijn faculteit een onderwerp niet wordt bestreken dat wel noodzakelijk is, dan kost hem dat punten bij de volgende evaluatie. Dat soort informatie moet je als decaan (en als voorlichting en zelfs als medewerker) te allen tijde proberen onder de pet te houden.

In essentie betekent dat dat de gebruikte methode niet anders dan tot de conclusie kan leiden dat er geen witte vlekken zijn. Daarmee is de conclusie niet fout, maar de gebruikte methode resulteert niet in informatie waarop een conclusie gebaseerd kan worden.

Dat is overigens een algemeen probleem, overal waar voortdurend competitie en (zelf)evaluaties zijn. Per definitie zijn dan alle evaluaties positief, tenzij degene die evalueert er zelf belang bij heeft dat de geëvalueerde gekort of opgeheven wordt.

Als je in dit geval echt iets te weten had willen komen, had je het aan de werkvloer moeten vragen, en dat is niet op het niveau van de decanen, maar van de promovendi en post-docs. Zij ervaren eventuele problemen van het ontbreken van kennis aan den lijve. Maar hen is niets gevraagd, al is het zelfs voor hen de vraag in hoeverre ze open kunnen zijn over problemen in de organisatie.

Nog een andere groep die niet in het advies voorkomt zijn de hogescholen. Incidenteel worden ze even genoemd omdat een deel van de financiering ook naar hen gaat, maar daar blijft het bij. Dit is overigens een bekende blinde vlek, veel mensen weten niet dat het HBO ook een onderzoekstaak heeft, kennelijk geldt dat soms zelfs voor diegenen die rapporten schrijven over het onderzoek in Nederland. In dit rapport is dat des te merkwaardiger, want de hogescholen hebben natuurlijk die onderzoekstaak gekregen omdat er kennelijk bepaald soort onderzoek in Nederland nog ontbrak. Dan lijkt het mij interessant om in het kader van dit rapport te evalueren of die witte vlekken daadwerkelijk zijn ingevuld en of zij ervaren hebben dat er nog andere zijn. De minister wil dat er komende jaren honderden lectoren bijkomen, komen die dan allemaal in gebieden die nu ook al afgedekt zijn?

In het rapport wordt op een aantal plekken gerefereerd aan de toegenomen financiering van NWO en de mogelijk schadelijke effecten daarvan. Een aantal partijen is daar inderdaad kritisch over, maar waarom wordt in het midden gelaten. Kennelijk is het not done om te spreken over de korting op de eerste geldstroom als onderliggende oorzaak van de problemen.

In dit rapport is gekeken naar tamelijk ruime gebieden, bv of de zuivere wiskunde of de cardiologie nog wel bedreven wordt in Nederland. Op dat niveau zijn er geen witte vlekken geconstateerd. Let wel dat sommig onderzoek goed omschreven en afgebakend is en in een redelijk af te schatten beperkte tijd gedaan kan worden. Er is echter ook onderzoek dat over langere tijd loopt en minder scherp afgebakende eindpunten heeft. Dat onderzoek, bv naar hartinfarcten en de ritmestoornissen als gevolg daarvan, vond plaats in vak- en onderzoeksgroepen met een onderzoeksagenda die de 4 jaar van een promovendus ruim overstijgt. Die onderzoeksgroepen met langlopend onderzoek zijn de afgelopen jaren hard getroffen door de toegenomen flexibilisering van de aanstellingen en het afbreken van de vaste formatie. Hierdoor is er wel degelijk een patroon van kleinere witte vlekken aan het ontstaan, maar door de gekozen schaal blijft dit buiten het gezichtsveld van de commissie. Een plek waar dit probleem aan de orde had kunnen komen is bv op pagina 44, “In het medische veld wordt veel infrastructuur bekostigd uit opeenvolgende subsidies, omdat structurele verankering niet goed mogelijk is uit de eerste geldstroom.”. Hier had de opmerking kunnen komen over de afbraak van vaste staf (anders dan hoogleraren) en de problemen om kennis van post-docs en analisten te behouden na afloop van een project, maar het gaat hier alleen over tastbare infrastructuur.

Conclusies: dit rapport heeft een aantal blinde vlekken en de gebruikte methode is niet geschikt om antwoord te geven op de onderzoeksvraag. De conclusies uit dit onderzoek zijn dan ook niet bruikbaar voor de Democratisering en Decentralisatie Commissie van de UvA. Juist door de kennelijk vanzelfsprekendheid van de blinde vlekken geeft het wel een goed beeld van de stand van de zaken bij het evalueren van de consequenties van beleid. Dat in dit boekje op een overzichtelijke manier informatie over de verschillende wetenschapgebieden bij elkaar staat is wel heel plezierig.