Recognizing and rewarding open research practices

A short summary of the discussion about letting go of the Journal Impact Factor

Several Dutch articles about Recognition & Recognition were published last summer, including:

  • ‘Nieuwe Erkennen en waarderen schaadt Nederlandse wetenschap’ – ScienceGuide
  • ‘We moeten af van telzucht in de wetenschap’ – ScienceGuide
  • ‘Waarom de nieuwe Recognition & Rewards excellente wetenschap juist een boost geeft’ – Recognition & Rewards

In response to the news that impact factors of scientific journals are no longer included in the evaluation of scientists at the University Utrecht, 171 scientists (including 141 professors) warned that the new recognition and reward movement will harm Dutch science (Poot et al., 2021).

Utrecht announced, among other things, that they are abandoning performance figures based on journal-related metrics (including the Journal Impact Factor (JIF), and H-index), and will focus on team science and ‘open science’ instead. The opinion piece by Poot et al (2021) argues that the JIF is an imperfect, but good enough parameter for scientific quality. The signatories also believe that one cannot simply change the way researchers are evaluated, especially because the JIF (but also things like h-index) are internationally used and recognized measures for which, according to the signatories, there is no good (quantitative) alternative. They warn that the omission of measurable evaluation criteria will have negative consequences for the international recognition and appreciation of (young) Dutch scientists and make the evaluation process more political and arbitrary.

This opinion piece was criticized not only by established researchers but also by younger researchers. In various responses, more than 400 researchers stated that they did not find the JIF a representative measure to assess (young) scientists because the duties of the modern scientist consist of much more than just writing scientific publications (e.g., Algra et al., 2021). In line with the San Francisco Declaration on Research Assessment (DORA), the academics called for a reassessment of the role of bibliometric indicators in the assessment of research and the abandonment of the JIF as a measure of individual quality.

In addition, also members of Open Science Communities from all over the Netherlands state that to date there is no scientific literature showing that the JIF is correlated with the quality of individual scientists (Fijten et al., 2021). In fact, they cite articles showing that scientific articles in journals with a higher JIF are on average of lower quality (Bhattacharya & Packalenbrembs, 2018; Brembs, 2018). With regard to the possible negative consequences for the international recognition and appreciation of (young) Dutch scientists, the group emphasizes that the new recognition and appreciation, contrary to what is stated by Poot et al. (2021), is in line with a broad international trend. The DORA statement has been signed by more than 20.000 individuals and organizations from 148 different countries, and major national and international research funders (e.g. NWO, ERC, NIH) are saying goodbye to assessment based on journal metrics. The new recognition and reward movement could therefore have positive consequences for the international recognition and appreciation of (young) Dutch scientists.

The discussion shows that not everyone agrees on how scientists should be recognized and rewarded. At the moment, many universities are working to give shape to a vision on how to reshape how to reward and recognize researchers, including the University of Groningen.

Do you want to know more about this topic?

On 28 October 2021 there will be a panel discussion on recognizing and rewarding open research practices during the Celebrating Openness event, with an introduction by Professor Cisca Wijmenga (Rector of the University of Groningen and chair of the recognizing and appreciating Groningen committee).

Panelists:

  • Dr Flávio Eiró (Faculty of Arts)
  • Prof. Marian Joëls (Faculty of Medical Sciences)
  • Dr Marijke Leliveld (Faculty of Economics and Business)
  • Merle-Marie Pittelkow (Faculty of Behavioural and Social Sciences)
  • Prof. Mladen Popovic (Faculty of Theology and Religious Studies)
  • Chair: Dr Tina Kretschmer (Faculty of Behavioural and Social Sciences)

Vera E. Heininga & Maurits Masselink, co-founders of the OSCG

References

Algra at el. (2021) ‘We moeten af van telzucht in de wetenschap’ – ScienceGuide

Bhattacharya, J., & Packalen, M. (2020). Stagnation and scientific incentives (No. w26752). National Bureau of Economic Research.

Brembs, B. (2018). Prestigious science journals struggle to reach even average reliability. Frontiers in human neuroscience, 12, 37

Fijten et al. (2021) ‘Waarom de nieuwe Recognition & Rewards excellente wetenschap juist een boost geeft’ – Recognition & Rewards

Poot et al. (2021) ‘Nieuwe Erkennen en waarderen schaadt Nederlandse wetenschap’ – ScienceGuide


[Dutch translation]

Erkennen en waarderen van open onderzoekspraktijken:  de discussie rondom het loslaten van de Journal Impact Factor

Afgelopen zomer verschenen er diverse artikelen over Erkenning & Waarderen, waaronder:

  • ‘Nieuwe Erkennen en waarderen schaadt Nederlandse wetenschap’ – ScienceGuide
  • ‘We moeten af van telzucht in de wetenschap’ – ScienceGuide
  • ‘Waarom de nieuwe Recognition & Rewards excellente wetenschap juist een boost geeft’ – Recognition & Rewards

Als reactie op het nieuws dat de Universiteit Utrecht impact factoren van wetenschappelijke tijdschriften niet meer worden meegenomen in de evaluatie van wetenschappers, waarschuwden 171 wetenschappers (waaronder 141 hoogleraren) dat het nieuwe erkennen en waarderen de Nederlandse wetenschap zal schaden (Poot et al., 2021). 

Utrecht kondigde onder andere aan dat zij prestatiecijfers gebaseerd op journal gerelateerde metrics loslaten (o.a. de Journal Impact Factor (JIF), en H-index), en in plaats daarvan inzetten op team science en ‘open science’. In het opiniestuk van Poot et al (2021) wordt aangedragen dat de JIF een niet-perfecte, maar goed genoege, parameter is voor wetenschappelijke kwaliteit. Ook vinden de ondertekenaars dat men niet zomaar de manier waarop onderzoekers geëvalueerd worden kunnen veranderen, met name omdat de JIF (maar dus ook dingen als h-index) internationaal gebruikte en erkende maten zijn waarvoor, volgens de ondertekenaars, geen goed (kwantitatief) alternatief bestaat. Het achterwege laten van meetbare evaluatiecriteria zal negatieve gevolgen hebben voor de internationale erkenning en waardering van (jonge) Nederlandse wetenschappers en het beoordelingsproces politieker en willekeuriger maken, zo waarschuwen zij.

Op dit opiniestuk kwam veel kritiek, niet alleen van gevestigde onderzoekers, maar ook opvallend veel van  jongere onderzoekers. In verschillende reacties lieten meer dan 400 onderzoekers weten de JIF geen representatieve maat te vinden om (jonge) wetenschapper op te beoordelen omdat het takenpakket van de moderne wetenschapper uit veel meer bestaat dan enkel het schrijven van wetenschappelijke publicaties. In lijn met de San Francisco Declaration on Research Assessment (DORA), pleitten de academici voor een herijking van de rol van bibliometrische indicatoren bij de beoordeling van onderzoek en het loslaten van de JIF als maat voor individuele kwaliteit.

Deze jonge onderzoekers werden bijgestaan door veel leden van Open Science Communities uit heel Nederland. Zij laten weten dat er tot op heden geen wetenschappelijke literatuur is die laat zien dat de JIF gecorreleerd is aan kwaliteit van individuele wetenschappers. Sterker nog, ze citeren artikelen waaruit blijkt dat wetenschappelijke artikelen in tijdschriften met een hogere JIF gemiddeld van lagere kwaliteit zijn (Bhattacharya & Packalenbrembs, 2018; Brembs, 2018). Met betrekking tot de eventuele negatieve gevolgen voor de internationale erkenning en waardering van (jonge) Nederlandse wetenschappers benadrukt de groep dat het nieuwe erkennen en waarderen, in tegenstelling tot wat wordt gesteld door Poot et al. (2021), juist aansluit bij een brede internationale trend. De DORA verklaring is ondertekend door ruim 20.000 individuen en organisaties uit 148 verschillende landen, en grote nationale en  internationale onderzoeksgeldverstrekkers (bijv. NWO, ERC, NIH) nemen afscheid van beoordeling op basis van journal metrics.   Het nieuwe erkennen en waarderen zou dus juist positieve gevolgen kunnen hebben voor de internationale erkenning en waardering van (jonge) Nederlandse wetenschappers.

De discussie laat blijken dat niet iedereen het eens is over hoe wetenschappers erkent en gewaardeerd zouden moeten worden. Op dit moment zijn veel universiteiten bezig om vorm te geven een erkennen en waarderen visie, waaronder ook de Universiteit Groningen. 

Wil je meer weten over dit onderwerp? 

Op 28 oktober 2021 is er een paneldiscussie over het erkennen en waarderen van open onderzoekspraktijken tijdens het ‘Celebrating Openness’ event, met een inleiding door Professor Cisca Wijmenga (Rector of the University of Groningen en voorzitter van de erkennen en waarderen commissie Groningen).

Panelists:

  • Dr Flávio Eiró (Faculty of Arts)
  • Prof. Marian Joëls (Faculty of Medical Sciences)
  • Dr Marijke Leliveld (Faculty of Economics and Business)
  • Merle-Marie Pittelkow (Faculty of Behavioural and Social Sciences)
  • Prof. Mladen Popovic (Faculty of Theology and Religious Studies)
  • Chair: Dr Tina Kretschmer (Faculty of Behavioural and Social Sciences)

Vera E. Heininga & Maurits Masselink, co-founders of the OSCG

References

Algra at el. (2021) ‘We moeten af van telzucht in de wetenschap’ – ScienceGuide

Bhattacharya, J., & Packalen, M. (2020). Stagnation and scientific incentives (No. w26752). National Bureau of Economic Research.

Brembs, B. (2018). Prestigious science journals struggle to reach even average reliability. Frontiers in human neuroscience, 12, 37

Fijten et al. (2021) ‘Waarom de nieuwe Recognition & Rewards excellente wetenschap juist een boost geeft’ – Recognition & Rewards

Poot et al. (2021) ‘Nieuwe Erkennen en waarderen schaadt Nederlandse wetenschap’ – ScienceGuide

[blog] Open Research Award: Celebrating openness … and randomness?

Recently, the Open Science Community Groningen (OSCG) and the University of Groningen Library (UB) collaboratively set up a yearly returning Open Research Award, with the first awards being awarded October 2020. The goal of the Open Research Award is to (1) raise awareness and promote Open Research [1] practices, for example, pre-registration or Open Access publishing; (2) and incentivize incorporating Open Research in research by acknowledging and rewarding it. In this blog, we will play devil’s advocate so that we can cover pros and cons of introducing an Open Research Award and its uptake of a modified lottery.

Continue reading “[blog] Open Research Award: Celebrating openness … and randomness?”

[Blog] Silly… and unethical scientists

Silly… and unethical scientists

When scientists and non-scientists are confronted with similar problems, you may expect those smart scientists to handle the problems more sensibly than non-scientists. However, in this blog, I show that the opposite may be true and that scientists all too often go for solutions that are silly… and unethical. Continue reading “[Blog] Silly… and unethical scientists”

ReproducibiliTea Groningen BLOGPOST #1: Science; why the best is not yet good enough

Science; why the best is not yet good enough.

Science is currently our best way of acquiring knowledge. It is the continuing process that has brought us – amongst others – our understanding that the Earth revolves around the Sun, the Industrial Revolution, and modern Medicine, while surely in a few years, it will also bring us hoverboards. Continue reading “ReproducibiliTea Groningen BLOGPOST #1: Science; why the best is not yet good enough”