Aan de tekentafel
Reproducibility is like brushing your teeth. It is good for you, but it takes time and effort. Once you learn it, it becomes a habit. | Irakli Loladze, 2016
Tijdens het plannen van een onderzoeksproject is het belangrijk om voldoende lang stil te staan bij de vraag hoe integriteit, reproduceerbaarheid en FAIRheid al in het ontwerp ingebakken kunnen worden. In deze paragraaf geven we daar een aantal handreikingen voor.
Het onderzoeksontwerp in vogelvlucht
Nog voordat een onderzoeker begint met het verzamelen van onderzoeksdata, gaat hij/zij aan de slag met het onderzoeksontwerp. Het onderzoeksontwerp geeft antwoord op vragen zoals:
Wat is de onderzoeksvraag?
Wat zijn de onderzoeksvragen en hypotheses en waar volgen die uit? Wat is er al bekend in bestaande wetenschappelijke literatuur?
Welke onderzoeksmethode is geschikt?
Ga je nieuwe onderzoeksdata verzamelen of gebruik je bestaande datasets? Als je nieuwe data gaat verzamelen, welke onderzoeksmethoden gebruik je daar dan voor?
In de tabel hieronder zie je een aantal eenvoudige voorbeelden van veelvoorkomende onderzoeksmethoden, gecombineerd met het instrument waarmee het onderzoek wordt uitgevoerd en de datadocumentatie die in deze fase gebruikt kan worden. Een codebook (Lavrakas, 2008) is een soort legenda bij de data files. Je kunt erin vinden welke variabelen in de databestanden staan en wat de gebruikte coderingen betekenen. Met behulp van een dagboek en labjournaal documenteren onderzoekers het dataverzamelingsproces.
| Onderzoeksmethode | Instrument | Datadocumentatie |
|---|---|---|
| Survey-onderzoek | Vragenlijsten | Codebook |
| Case study | Combinatie van interviews en observaties | Dagboek |
| Experimenteel onderzoek in een laboratorium | Meting of observatie | (Elektronisch) Labjournaal |
Hoe bereid je onderzoek voor op reproduceerbaarheid en hergebruik?
Hoe kunnen de verwachte onderzoeksdata/code het beste worden georganiseerd, bewaard en gedeeld om zo reproduceerbaarheidsdoelen te behalen en hergebruik mogelijk te maken? Vanzelfsprekend hangt het antwoord op deze vraag af van de onderzoeksdiscipline. Met Barba (2012), Goodman (2014), Chen (2019), Stodden (2017), en het Science Code Manifesto (Barnes, n.d.) stelden we een aantal tips samen die in de ontwerpfase van pas kunnen komen:
- Definieer de reproduceerbaarheidsdoelen van het onderzoeksproject
- Stel je voor hoe een 'reproduceerbaarheidsverklaring' in een artikel eruit zou kunnen zien
Steeds vaker staat in wetenschappelijke artikelen een 'data availability statement'. Dat is een mooie stap, maar vertelt een andere onderzoeker nog niet hoe hij/zij het onderzoek zou kunnen reproduceren. Met een reproduceerbaarheidsverklaring doe je dat wel. Als je vooraf nadenkt hoe zo'n reproduceerbaarheidsverklaring eruit zou kunnen zien, vertelt dat je veel over hoe je het onderzoek moet ontwerpen en documenteren om reproduceerbaarheid mogelijk te maken. - Bedenk wat er nodig is om een workflowrecept beschikbaar te stellen
Hoe gaat een onderzoeker ervoor zorgen dat anderen begrijpen wat hij of zij gedaan hebt? Wat is er nodig om een onderzoeksanalyse na te kunnen doen? Hoe kun je het onderzoeksproces en de onderzoeksdata het beste structureren en documenteren? Goede datadocumentatie zorgt er voor dat onderzoeksdata vindbaar zijn en eenduidig te begrijpen en te gebruiken zijn door huidige en toekomstige gebruikers (inclusief de onderzoeker zelf). Het publiceren van een workflowrecept - de beschrijving van het verzamelen en verwerken/analyseren van onderzoeksdata of softwarecode - geeft essentiële context voor het interpreteren en hergebruiken van de gegevens. De naam voor 'het workflowrecept' verschilt trouwens per wetenschapsdiscipline. Soms nemen onderzoekers een sectie 'methoden' of 'analyse' in hun wetenschappelijke output op. In computer- en informatiewetenschappen is 'workflow' een veel voorkomende benaming. De informatie die wordt vastgelegd in de workflow, laat zien hoe de gegevens tot stand zijn gekomen. - Omarm openheid waar mogelijk
Kies indien mogelijk voor open source software met grote gebruikersgemeenschappen en sla data op in open dataformaten. Deel workflow en onderzoeksoutput zo open mogelijk. Publiceer onderzoeksdata, software, workflows en alles wat nog meer nodig is om het experiment te herhalen in betrouwbare repositories en moedig datacitatie en softwarecitatie aan. Gebruik een licentie die zo open mogelijk is.
Simple compliance with openness is not sufficient to foster reuse and reproducibility in particle physics. Sharing data is not enough; it is also essential to capture the structured information about the research data analysis workflows and processes to ensure the usability and longevity of results | Chen, 2019
Reproduceerbaarheid vergroten
In 'a manifesto for reproducible science' (Munafo e.a., 2017) sommen de auteurs een reeks maatregelen op die zich direct richten op het aanpakken van specifieke bedreigingen voor reproduceerbare wetenschap. Het gaat dan bijvoorbeeld om aandacht en training op het gebied van de robuustheid van gebruikte onderzoeksmethoden, het promoten van team science, datatransparantie en open science en het belonen van open en reproduceerbare praktijken, zoals bijvoorbeeld het subsidiëren van replicatiestudies.
Een replicatiestudie is een onderzoek dat een eerdere studie probeert te herhalen met behulp van vergelijkbare methoden en uitgevoerd wordt onder vergelijkbare omstandigheden. Sinds 2016 stimuleert de Nederlands onderzoeksfinancier NWO replicatiestudies (NWO, n.d.). Niet alle replicatiestudies lukken. Dat betekent overigens niet per se dat het oorspronkelijke onderzoek niet klopte. Dat is te kort door de bocht (Vrieze, 2019) Door dit soort studies te financieren laat NWO zien dat ze de integriteit van wetenschappelijk onderzoek niet alleen in woord maar ook in daad op waarde weet te schatten.Ook KNAW vindt dat replicatieonderzoek een belangrijk hulpmiddel is bij het verbeteren van wetenschappelijke kennis en het functioneren van wetenschappelijke disciplines. Replicatieonderzoek zou vaker en systematischer moeten worden toegepast dan nu het geval is (KNAW, 2018).
In Essentials 4 Data Support zoomen we in op twee concrete hulpmiddelen om integer en reproduceerbaar onderzoek te plannen (Kavanagh, 2019):
- Een datamanagementplan
Een datamanagementplan (DMP) - soms ook wel een output management plan (OMP) genoemd (F1000, n.d.) - is een ingeburgerd middel voor integrity by design en om onderzoeksdata al in de planfase voor te bereiden op een toekomst die FAIR is. - Preregistratie
Met preregistratie wordt - voorafgaand aan het onderzoek - de kwaliteit van de onderzoeksvraag, het onderzoeksontwerp, de methodologie en de beoogde manier van data analyse geregistreerd en beoordeeld via peer review. Het voornemen tot preregistratie kan ook onderdeel zijn van een DMP.
Deze twee hulpmiddelen komen in de volgende twee paragrafen uitgebreid aan bod. Onder integrity by design valt trouwens ook privacy by design. Daar staan we in hoofdstuk vijf in meer detail bij stil.
Scientific knowledge can only grow if researchers can trust the results of earlier studies. Being able to reproduce results is important, not only because it aids scientific progress, but also because non-reproducible results waste resources, can harm individuals and society, and may erode public trust in science | KNAW, 2018
Bronnen
Klik om te openen/sluiten
NB (2023): Some of these sources may no longer be maintained or may have moved URLs. The E4DS website is currently being updated; for archival reasons, we will not update this particular source list, but encourage you to search for them via your favourite search engine or to ask our coaches for their recommendations. Apologies for any inconvenience!
Barba, L.A. (2012). Reproducibility PI Manifesto. figshare. [Presentation]. https://doi.org/10.6084/m9.figshare.104539.v1
Barnes, N. (n.d.) Science Code Manifesto. http://sciencecodemanifesto.org/
Chen, X. et al. (2019). Open is not enough. Nature Physics 15, 113-119. https://doi.org/10.1038/s41567-018-0342-2
F1000 (n.d). Your go-to guide to making your data Findable, Accessible, Interoperable, and Reusable (FAIR). https://f1000.com/resources/FAIR_Open_Guide.pdf
Goodman, A., Pepe, A., Blocker, A.W., Borgman, C.L., Cranmer, K., Crosas, M., et al. (2014). Ten Simple Rules for the Care and Feeding of Scientific Data. PLoS Comput Biol 10(4): e1003542. https://doi.org/10.1371/journal.pcbi.1003542
Kavanagh, C. M., & Kapitány, R. (2019, June 17). Promoting the Benefits and clarifying misconceptions about Preregistration, Preprints, and Open Science for CSR. doi.org/10.31234/osf.io/e9zs8
KNAW (2018). Replication studies. Improving reproducibility in the empirical sciences. https://www.knaw.nl/shared/resources/actueel/publicaties/pdf/20180115-replication-studies-web
Lavrakas, P.J. (2008). Encyclopedia of Survey Research Methods. Codebook [encyclopedia entry]. http://methods.sagepub.com/reference/encyclopedia-of-survey-research-methods/n69.xml
Loladze, I. (2016) [Quote] taken from: Baker, M. (2016, 26 May). 1500 scientists lift the lid on reproducibility. Survey sheds light on the ‘crisis’ rocking research. Nature 533, 452–454. https://doi.org/10.1038/533452a
Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie Du Sert, N., ... Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1(1), [0021]. https://doi.org/10.1038/s41562-016-0021
National Academies of Sciences, Engineering, and Medicine. (2018). Open Science by Design: Realizing a Vision for 21st Century Research. Washington, DC: The National Academies Press. https://doi.org/10.17226/25116
Nosek, B. A., Alter, G., Banks, G. C., Borsboom, D., Bowman, S. D., Breckler, S. J., … DeHaven, A. C. (2015). Transparency and Openness Promotion (TOP) Guidelines. Science. Vol. 348, Issue 6242, pp. 1422-1425. https://doi.org/10.1126/science.aab2374
NWO (n.d.) Programme Replication Studies. https://www.nwo.nl/en/research-and-results/programmes/replication+studies
Stodden, V. (2017, July 20). Enhancing Reproducibility for Computational Methods. Towards an Open Science Committee. [Presentation]. http://sites.nationalacademies.org/cs/groups/pgasite/documents/webpage/pga_180684.pdf
Vrieze, J. de (2019, 1 Maart). Analyse herhaalstudies. Herhaalstudies zijn hip, maar wat leren we ervan? Dit onderzoek naar pupillen biedt inzicht. [Nieuwsbericht] https://www.volkskrant.nl/wetenschap/herhaalstudies-zijn-hip-maar-wat-leren-we-ervan-dit-onderzoek-naar-pupillen-biedt-inzicht~b56d74d3
