OSCG-Groningen Reprohack 11 November 13.00-17.00

Attention for Reproduction and Reproducibility of research is becoming increasingly important in scientific research. Therefore we invite you to join us in the OSCG-Groningen Reprohack on 11 November from 13.00-17.00 CET.

What is a Reprohack?
In a Reprohack (Reproducibility-Hackathon), participants try to reproduce the research output of other researchers, who may be other participants of the Reprohack or other researchers whoe made their data and code publicly available. During this workshop, participants will go through a research article in groups and try to reproduce the results as listed in the article using the code and data belonging to the article. This will give insight into whether the research is sufficiently transparent, clear, and reproducible. At the end of the workshop, we share our experiences and give feedback to authors to improve the reproducibility of their research.

There are two ways to participate:
1) As an author: You can test if your own research can be reproduced by others during the Reprohack. You will get feedback at the end of the event. You may decide to only provide your research or to participate in reproducing the work of others as well.
2) As an Reproducer: You can propose research to be reproduced that includes code and data to be used during the Reprohack. Or you can help in trying to reproduce the research of others attending the Reprohack. In this way, you can improve your skills and learn from each other to create reproducible research.

If you would like to participate, please fill in this form.

Recognizing and rewarding open research practices

A short summary of the discussion about letting go of the Journal Impact Factor

Several Dutch articles about Recognition & Recognition were published last summer, including:

  • ‘Nieuwe Erkennen en waarderen schaadt Nederlandse wetenschap’ – ScienceGuide
  • ‘We moeten af van telzucht in de wetenschap’ – ScienceGuide
  • ‘Waarom de nieuwe Recognition & Rewards excellente wetenschap juist een boost geeft’ – Recognition & Rewards

In response to the news that impact factors of scientific journals are no longer included in the evaluation of scientists at the University Utrecht, 171 scientists (including 141 professors) warned that the new recognition and reward movement will harm Dutch science (Poot et al., 2021).

Utrecht announced, among other things, that they are abandoning performance figures based on journal-related metrics (including the Journal Impact Factor (JIF), and H-index), and will focus on team science and ‘open science’ instead. The opinion piece by Poot et al (2021) argues that the JIF is an imperfect, but good enough parameter for scientific quality. The signatories also believe that one cannot simply change the way researchers are evaluated, especially because the JIF (but also things like h-index) are internationally used and recognized measures for which, according to the signatories, there is no good (quantitative) alternative. They warn that the omission of measurable evaluation criteria will have negative consequences for the international recognition and appreciation of (young) Dutch scientists and make the evaluation process more political and arbitrary.

This opinion piece was criticized not only by established researchers but also by younger researchers. In various responses, more than 400 researchers stated that they did not find the JIF a representative measure to assess (young) scientists because the duties of the modern scientist consist of much more than just writing scientific publications (e.g., Algra et al., 2021). In line with the San Francisco Declaration on Research Assessment (DORA), the academics called for a reassessment of the role of bibliometric indicators in the assessment of research and the abandonment of the JIF as a measure of individual quality.

In addition, also members of Open Science Communities from all over the Netherlands state that to date there is no scientific literature showing that the JIF is correlated with the quality of individual scientists (Fijten et al., 2021). In fact, they cite articles showing that scientific articles in journals with a higher JIF are on average of lower quality (Bhattacharya & Packalenbrembs, 2018; Brembs, 2018). With regard to the possible negative consequences for the international recognition and appreciation of (young) Dutch scientists, the group emphasizes that the new recognition and appreciation, contrary to what is stated by Poot et al. (2021), is in line with a broad international trend. The DORA statement has been signed by more than 20.000 individuals and organizations from 148 different countries, and major national and international research funders (e.g. NWO, ERC, NIH) are saying goodbye to assessment based on journal metrics. The new recognition and reward movement could therefore have positive consequences for the international recognition and appreciation of (young) Dutch scientists.

The discussion shows that not everyone agrees on how scientists should be recognized and rewarded. At the moment, many universities are working to give shape to a vision on how to reshape how to reward and recognize researchers, including the University of Groningen.

Do you want to know more about this topic?

On 28 October 2021 there will be a panel discussion on recognizing and rewarding open research practices during the Celebrating Openness event, with an introduction by Professor Cisca Wijmenga (Rector of the University of Groningen and chair of the recognizing and appreciating Groningen committee).

Panelists:

  • Dr Flávio Eiró (Faculty of Arts)
  • Prof. Marian Joëls (Faculty of Medical Sciences)
  • Dr Marijke Leliveld (Faculty of Economics and Business)
  • Merle-Marie Pittelkow (Faculty of Behavioural and Social Sciences)
  • Prof. Mladen Popovic (Faculty of Theology and Religious Studies)
  • Chair: Dr Tina Kretschmer (Faculty of Behavioural and Social Sciences)

Vera E. Heininga & Maurits Masselink, co-founders of the OSCG

References

Algra at el. (2021) ‘We moeten af van telzucht in de wetenschap’ – ScienceGuide

Bhattacharya, J., & Packalen, M. (2020). Stagnation and scientific incentives (No. w26752). National Bureau of Economic Research.

Brembs, B. (2018). Prestigious science journals struggle to reach even average reliability. Frontiers in human neuroscience, 12, 37

Fijten et al. (2021) ‘Waarom de nieuwe Recognition & Rewards excellente wetenschap juist een boost geeft’ – Recognition & Rewards

Poot et al. (2021) ‘Nieuwe Erkennen en waarderen schaadt Nederlandse wetenschap’ – ScienceGuide


[Dutch translation]

Erkennen en waarderen van open onderzoekspraktijken:  de discussie rondom het loslaten van de Journal Impact Factor

Afgelopen zomer verschenen er diverse artikelen over Erkenning & Waarderen, waaronder:

  • ‘Nieuwe Erkennen en waarderen schaadt Nederlandse wetenschap’ – ScienceGuide
  • ‘We moeten af van telzucht in de wetenschap’ – ScienceGuide
  • ‘Waarom de nieuwe Recognition & Rewards excellente wetenschap juist een boost geeft’ – Recognition & Rewards

Als reactie op het nieuws dat de Universiteit Utrecht impact factoren van wetenschappelijke tijdschriften niet meer worden meegenomen in de evaluatie van wetenschappers, waarschuwden 171 wetenschappers (waaronder 141 hoogleraren) dat het nieuwe erkennen en waarderen de Nederlandse wetenschap zal schaden (Poot et al., 2021). 

Utrecht kondigde onder andere aan dat zij prestatiecijfers gebaseerd op journal gerelateerde metrics loslaten (o.a. de Journal Impact Factor (JIF), en H-index), en in plaats daarvan inzetten op team science en ‘open science’. In het opiniestuk van Poot et al (2021) wordt aangedragen dat de JIF een niet-perfecte, maar goed genoege, parameter is voor wetenschappelijke kwaliteit. Ook vinden de ondertekenaars dat men niet zomaar de manier waarop onderzoekers geëvalueerd worden kunnen veranderen, met name omdat de JIF (maar dus ook dingen als h-index) internationaal gebruikte en erkende maten zijn waarvoor, volgens de ondertekenaars, geen goed (kwantitatief) alternatief bestaat. Het achterwege laten van meetbare evaluatiecriteria zal negatieve gevolgen hebben voor de internationale erkenning en waardering van (jonge) Nederlandse wetenschappers en het beoordelingsproces politieker en willekeuriger maken, zo waarschuwen zij.

Op dit opiniestuk kwam veel kritiek, niet alleen van gevestigde onderzoekers, maar ook opvallend veel van  jongere onderzoekers. In verschillende reacties lieten meer dan 400 onderzoekers weten de JIF geen representatieve maat te vinden om (jonge) wetenschapper op te beoordelen omdat het takenpakket van de moderne wetenschapper uit veel meer bestaat dan enkel het schrijven van wetenschappelijke publicaties. In lijn met de San Francisco Declaration on Research Assessment (DORA), pleitten de academici voor een herijking van de rol van bibliometrische indicatoren bij de beoordeling van onderzoek en het loslaten van de JIF als maat voor individuele kwaliteit.

Deze jonge onderzoekers werden bijgestaan door veel leden van Open Science Communities uit heel Nederland. Zij laten weten dat er tot op heden geen wetenschappelijke literatuur is die laat zien dat de JIF gecorreleerd is aan kwaliteit van individuele wetenschappers. Sterker nog, ze citeren artikelen waaruit blijkt dat wetenschappelijke artikelen in tijdschriften met een hogere JIF gemiddeld van lagere kwaliteit zijn (Bhattacharya & Packalenbrembs, 2018; Brembs, 2018). Met betrekking tot de eventuele negatieve gevolgen voor de internationale erkenning en waardering van (jonge) Nederlandse wetenschappers benadrukt de groep dat het nieuwe erkennen en waarderen, in tegenstelling tot wat wordt gesteld door Poot et al. (2021), juist aansluit bij een brede internationale trend. De DORA verklaring is ondertekend door ruim 20.000 individuen en organisaties uit 148 verschillende landen, en grote nationale en  internationale onderzoeksgeldverstrekkers (bijv. NWO, ERC, NIH) nemen afscheid van beoordeling op basis van journal metrics.   Het nieuwe erkennen en waarderen zou dus juist positieve gevolgen kunnen hebben voor de internationale erkenning en waardering van (jonge) Nederlandse wetenschappers.

De discussie laat blijken dat niet iedereen het eens is over hoe wetenschappers erkent en gewaardeerd zouden moeten worden. Op dit moment zijn veel universiteiten bezig om vorm te geven een erkennen en waarderen visie, waaronder ook de Universiteit Groningen. 

Wil je meer weten over dit onderwerp? 

Op 28 oktober 2021 is er een paneldiscussie over het erkennen en waarderen van open onderzoekspraktijken tijdens het ‘Celebrating Openness’ event, met een inleiding door Professor Cisca Wijmenga (Rector of the University of Groningen en voorzitter van de erkennen en waarderen commissie Groningen).

Panelists:

  • Dr Flávio Eiró (Faculty of Arts)
  • Prof. Marian Joëls (Faculty of Medical Sciences)
  • Dr Marijke Leliveld (Faculty of Economics and Business)
  • Merle-Marie Pittelkow (Faculty of Behavioural and Social Sciences)
  • Prof. Mladen Popovic (Faculty of Theology and Religious Studies)
  • Chair: Dr Tina Kretschmer (Faculty of Behavioural and Social Sciences)

Vera E. Heininga & Maurits Masselink, co-founders of the OSCG

References

Algra at el. (2021) ‘We moeten af van telzucht in de wetenschap’ – ScienceGuide

Bhattacharya, J., & Packalen, M. (2020). Stagnation and scientific incentives (No. w26752). National Bureau of Economic Research.

Brembs, B. (2018). Prestigious science journals struggle to reach even average reliability. Frontiers in human neuroscience, 12, 37

Fijten et al. (2021) ‘Waarom de nieuwe Recognition & Rewards excellente wetenschap juist een boost geeft’ – Recognition & Rewards

Poot et al. (2021) ‘Nieuwe Erkennen en waarderen schaadt Nederlandse wetenschap’ – ScienceGuide