Het beeld van de professor die zijn dagen slijt op een zolderkamertje in de ivoren toren en eens per tien jaar een boek schrijft is allang achterhaald. De invoering van marktdenken aan de universiteit heeft ertoe geleid dat wetenschappers afgerekend worden op hun output. Omdat wetenschappelijke productie nooit alleen maar over hoeveelheid kan gaan, was er behoefte aan een manier om de kwaliteit van die productie vast te stellen en telbaar te maken. Dat heeft vorm gekregen in een classificatiesysteem, de journal rankings. Dit systeem kent echter vele gebreken en is – zo stellen onderzoekers nu – zelfs gevaarlijk.
Werking en gebruik
Het systeem wordt beheerd door een bedrijf, Thompson Reuters. Tijdschriften (inmiddels zo’n 11.000) kunnen zich bij hen aanmelden om opgenomen te worden in de journal citation reports. Van alle artikelen die gepubliceerd worden in deze tijdschriften wordt bijgehouden hoe vaak ze geciteerd worden in deze tijdschriften. Per tijdschrift wordt vervolgens een impactfactor berekend (zie wikipedia). Hierdoor wordt het mogelijk om een tijdschrift te classificeren (te ranken – bij de invoering van marktdenken hoort ook de invoering van onvertaalde Engelse termen). Een tijdschrift dat vaak geciteerd wordt, heeft een hogere ranking en staat daarmee beter aangeschreven.
De impactfactors spelen steeds meer een rol in de evaluatie van de kwaliteit van wetenschappers, zoals bij sollicitaties, beursaanvragen en jaargesprekken. Met cijfers kun je immers makkelijk en objectief vergelijken. Toch?
Basiskritiek
In een artikel uit 1997 somt de Noorse hoogleraar celbiologie Per Seglen op waarom impactfactors geen goede graadmeter voor kwaliteit zijn. Zijn argumenten houden stand. Er zijn binnen artikelen uit hetzelfde journal grote verschillen in citaties. Bovendien zijn het de citaties die de impactfactor van een journal bepalen, terwijl de gedachte is dat een goed tijdschrift de citatiescore zou moeten bepalen.
De verschillen tussen disciplines zijn ook groot, waardoor vergelijking moeilijk wordt. Binnen cultural studies is de hoogste impactfactor 1,770; voor psychologie is dat 25,056. Communicatiewetenschap bevat zowel cultural studies als psychologie. Een van de oorzaken voor deze verschillen is dat het in bepaalde disciplines gebruikelijker is veel naar artikelen te verwijzen in plaats van naar boeken. Hoe meer artikelcitaties binnen een veld, hoe hoger de impactfactors.
Fraude
In een recent artikel gaan onderzoekers Björn Brembs en Marcus Munafò nog een stapje verder. Ze laten zien dat artikelen in journals met een hoge ranking niet meer geciteerd worden dan artikelen uit journals met een lage ranking. Expertoordelen over de kwaliteit van artikelen komen ook niet overeen met een hoge impactfactor. Daarom vinden de onderzoekers dat de impactfactor een slechte manier is om kwaliteit mee te meten.
Er is meer. Het is lastig om een studie gepubliceerd te krijgen als er geen of kleine effecten zijn gevonden. De druk om te publiceren leidt zo tot onbetrouwbare resultaten, iets dat onderbouwd wordt door de stijging in het aantal artikelen dat wordt teruggetrokken (vanaf het jaar 2000 gestegen van 0,001 procent naar 0,02 procent). Brembs en Munafò stellen dat fraude meer voorkomt bij journals met een hoge impactfactor.
Vertraging en corruptie
Omdat wetenschappers eerst proberen hun artikel in een tijdschrift met een hoge ranking te publiceren, vertraagt dit systeem de kennisverspreiding. Je biedt je werk eerst aan bij journal A met een hoge ranking. Na peer review wordt het afgewezen. Je biedt het dan aan bij journal B met een medium ranking. Na peer review wordt het afgewezen. Vervolgens heb je – na peer review – succes bij journal C met een lage ranking. Dit proces duurt makkelijk anderhalf jaar en slurpt de arbeid van meerdere reviewers.
Een laatste kwalijk punt dat Brembs en Munafò noemen is dat een tijdschrift invloed heeft op hoe de impactfactor wordt berekend, bijvoorbeeld door ervoor te kiezen om editorials niet mee te laten tellen. Thompson doet bovendien geheimzinnig over de totstandkoming van de impactfactors. Onafhankelijke studies slagen er keer op keer niet in om hun cijfers te reproduceren.
Marketing
Brembs en Munafò zijn ongekend hard in hun oordeel over journal rankings: “unhelpful at best and unscientific at worst” (p. 15). Ze hebben gelijk dat de rankings een illusie van prestige en exclusiviteit creëren, een illusie waarvan ze overtuigend betogen dat deze niet overeenkomt met de werkelijkheid. Het huidige systeem, zo stellen zij, heeft ertoe geleid dat de beste wetenschappers vooral mensen zijn die excelleren in het marketen en verkopen van hun werk, en niet noodzakelijk in het doen van goed onderzoek.
