Data opslaan
Hoofdlijnen
Waar en op welk opslagmedium slaat een onderzoeker zijn onderzoeksdata op? Hoe gaat hij om met backups en versiebeheer (zie kader)? In deze paragraaf geven we een globaal overzicht van de mogelijkheden.
Opslagmedia
Informatie heeft een informatiedrager - een opslagmedium - nodig. De tijd heeft geleerd dat opslagmedia snel verouderen (zie infographic (1) en (2)). Misschien denkt een onderzoeker nu goed af te zijn als hij zijn data op een USB-stick backupt, maar hoe lang bestaan USB-sticks nog? Kun je de data die op zo'n stick staan er straks nog wel afhalen? Hebben laptops (of aanverwanten) straks nog wel een USB-poort? En zijn data die zijn opgeslagen in een bepaald dataformaat straks nog wel te openen met de software die dan voorhanden is?
Opslagstrategie
Als je data voor een langere termijn leesbaar en bruikbaar wilt houden, dan is het zaak om goed over je strategie na te denken. UK Data Archive heeft de volgende punten(3) op haar lijstje met data storage best practices staan:
Kortetermijnopslag
Voor kortetermijnopslag en backup zijn er grofweg drie mogelijkheden:
- Op een eigen PC of laptop.
Als een onderzoeker vanaf zijn eigen PC of laptop werkt, dan staat daar de zogeheten master file. Een master file is het bestand dat steeds gebruikt wordt op het moment dat de data ingevoerd worden. De backup is het bestand dat gebruikt wordt om data te herstellen als de master file kwijt raakt, beschadigt, per ongeluk verwijderd is of ten onrechte is veranderd. Je kunt op gezette tijden een back-up maken van je masterfile op bijvoorbeeld een USB flash-drive, DVD, CD of externe harde schijf (disk storage).
Vaak werken onderzoekers op meerdere werkplekken. Ze werken bijvoorbeeld op de PC in het lab en op hun laptop thuis en onderweg. Ondertussen delen ze hun onderzoeksdata via cloud services zoals Dropbox(5) of het recentere Nederlandse SURFdrive(6). Natuurlijk kun je kopieën van de ene computer op de andere zetten. Dat betekent alleen wel dat je de bestanden handmatig moet kopiëren en dat je heel makkelijk uit het oog verliest wat de laatste versie van je bestand is (zie ook versiebeheer). In dit geval biedt file synchronization software uitkomst (zoals bijvoorbeeld Syncback.(7)).
- Via centrale opslagvoorzieningen (network storage) bij de instelling waar de onderzoeker werkt.
Als een onderzoeker gebruikt maakt van de network storage faciliteiten van zijn instelling, is het maken van een backup vaak al geregeld. Ook zijn er vaak zogeheten restore-mogelijkheden, waarbij je terug kunt keren naar een oudere versie van de data.
Sommige onderzoeksgroepen leggen zelf een NAS-server aan. Dat is eigenlijk een externe harde schijf met netwerkfaciliteiten. Zo'n NAS-server kun je aansluiten op een computernetwerk en op dat moment kun je vanaf elk aangesloten apparaat bij je bestanden. Al deze PC's delen dan dezelfde backup server. Het inrichten van zo'n NAS-server vergt wel kennis van zaken.
- Via cloud storage faciliteiten met synchronisatie naar één of meerdere PC's.
Met de opkomst van cloud services boet het begrip 'Master file' langzaam aan betekenis in. Je kunt een programma zoals Dropbox downloaden op je PC. Alle wijzigingen die je aanbrengt, worden automatisch online opgeslagen. Als je vanaf een andere computer wijzigingen aanbrengt in het online document, dan worden die wijzigingen ook weer op je PC opgeslagen zodra je je PC aanzet (en er internet toegang is).
Je kunt ook je eigen cloud opslag maken.(8) Het nadeel van wereldwijde diensten zoals Dropbox is namelijk dat je niet weet of je data veilig zijn en of er meegelezen wordt. Voor diverse Nederlandse instellingen is dit een reden om SURFdrive te gebruiken in plaats van Dropbox.
In onderstaande tabel staan de diverse mogelijkheden - met hun voordelen en nadelen - nog eens op een rijtje. De tabel is met toestemming overgenomen van het Datamanagementplan-template van Wageningen Universiteit.(9)
| Storage Solutions | Advantages | Disadvantages | Suitable for |
|---|---|---|---|
| Personal Computer & Laptop | Always available Portable | Drive may fail Laptop may be stolen | Temporary storage |
Networked drives File servers managed by your university, research group or facilities like a NAS-server | Regularly backed up Stored securely in a single place | Costs | Master copy of your data (if enough storage space is provided ..) |
External storage devices USB flash drive, DVD/CD, external hard drive | Low cost Portability | Easily damaged or lost | Temporary storage |
| Cloud services | Automatic synchronization between folders and files Easy to access and use | It's not sure whether data security is taken care of You don't have direct influence on how often backups take place and by whom | Data sharing |
Versiebeheer
Als er continu aan de data gewerkt wordt, is het zinvol om een vorm van versiebeheer te introduceren waarmee je de wijzigingen goed kunt volgen. De simpelste manier van versiebeheer is het toevoegen van een nummer aan het eind van een bestand na elke belangrijke wijziging. Bijvoorbeeld experiment_021213_v2.doc.
Ook binnen één file kun je een vorm van versiebeheer toepassen. Bij het onderdeel Datadocumentatie kun je een case lezen waarin een onderzoeker versiebeheer opneemt in haar databestanden door een tabblad 'versiebeheer' toe te voegen.
Sommige programma's hebben een eigen automatische vorm van versiebeheer. Hier rechts zie je daar een voorbeeld van voor het programma Dropbox.
Als onderzoek niet al te complex is, zijn bovenstaande methoden een prima manier voor versiebeheer. Werkt een onderzoeker veel met anderen aan zijn data samen en/of wordt dezelfde dataset continu bewerkt, dan kan een onderzoeker zijn heil zoeken bij versiebeheer software zoals bijvoorbeeld Git(10) (ook gebruikt in Github.(11)).
Bronnen
Klik om te openen/sluiten
- Mashable. (2011). The history of digital storage. Mashable Infographics. Retrieved from http://mashable.com/2011/10/08/digital-storage-infographic/
- Mozy. (2011). The past, present and future of data storage. Retrieved from http://mozy.com/infographics/the-past-present-and-future-of-data-storage/
- UK Data Archive. (2011). Managing and sharing data. Retrieved from http://www.data-archive.ac.uk/media/2894/managingsharing.pdf
- National Archives of Australia. Checksum Checker. Retrieved from http://checksumchecker.sourceforge.net/
- Dropbox. Retrieved from https://www.dropbox.com/
- SURFdrive. Retrieved from https://www.surfdrive.nl/en
- 2BrightSparks. Syncback: backup software. Retrieved from http://www.2brightsparks.com/syncback/
- Vanderfeesten, M. Maak je eigen cloudopslag. Retrieved from https://www.surfspace.nl/artikel/1151-maak-je-eigen-cloudopslag/
- Wageningen Universiteit. Data Management Plans. Retrieved from http://www.wageningenur.nl/en/Expertise-Services/Data-Management-Support-Hub/Browse-by-Subject/Storage-solutions.htm (zie het DMP Template)
- Git, fast version control. Retrieved from git-scm.com
- Github. Retrieved from https://github.com/
Verder lezen
- UK Data Service. Data backup. Retrieved from http://ukdataservice.ac.uk/manage-data/store/backup.aspx
- Australian National University. Standard methods of data organization. Retrieved from http://libguides.anu.edu.au/content.php?pid=372387&sid=3050534
Jouw toevoegingen
Ken jij voorbeelden van betrouwbare manieren om je data op te slaan en backups te maken? Heb je tips over het omgaan met versiebeheer? Of heb je andere opmerkingen op deze paragraaf? Laat het hieronder weten.
Jan Heul - Gebruik thuis een dubbel backup systeem.
Eerste backup, wekelijks naar een extra harddisk in de pc.
Tweede backup, maandelijks naar een externe harddisk.
Versiebeheer is thuis niet heel belangrijk, het gaat voornamelijk om mijn foto's.
Bewerkte foto's houden de oorspronkelijke bestandsnaam, bewerkte krijgen een aangepaste naam.
Richard Visscher - Binnen inholland gebruiken we Sharepoint. Ik gebruik vaak version beheer. daardoor hoef ik geen versiecode in de documentnaam op te nemen. Terugkijken van een eerdere versie is eenvoudig.
Voor software ontwikkeling (webapps) gebruik ik Subversion. Alle changes worden gelogd en gedocumenteerd. Ideaal
Richard Visscher - Over backups (punt 4 opslag strategie) Ik mis info over soort backup. Een backup overschrijf je inderdaad niet daarvoor heb je het sysyeem van de incrementele backup: de eerste backup is een full backup, de volgende backups bevatten de wijzigingen: samen vormen ze steeds de actuele backup. Als je dat combineert met punt 3 gaat het nooit mis
Frans de Liagre Böhl - Bij de ontwikkeling van een storage voor datasets kom ik twee soorten van 'versies' tegen, nl die van bestanden die deel uitmaken van een dataset, maar ook versies van de set als geheel. In de onderzoekspraktijk komt het veelvuldig voor dat op basis van ruwe data meerdere 'versies' worden getrokken. Die versies moeten afzonderlijk bewaard worden als 'zelfstandige' datasets omdat elk van die versies ten grondslag liggen aan andere publicaties. Wij versionen dus zowel bestanden als datasets.
Frans de Liagre Böhl - Waar ik overigens benieuwd naar ben is of iemand in de praktijk onderzoekers kennen die van Github gebruik maken voor versioning. Dat is een zeer krachtige tool, maar kan zoveel dat ik al snel door de versies het bos niet meer zie. Het blijft zoeken naar de balans tussen bruikbaarheid en zorgvuldigheid.
Narges Zarrabi - For Storage solutions, I am missing a solution for long-term storage, for example storing the data in an Archive facility.
Research Data Netherlands - @Narges: the course distinguishes storing data - during a project or a study - from archiving data - for the long term. In Chapter 4 you can find information about archiving, including references to certified data archives.
Harry Garst - Je kunt thuis wel een backup maken op een externe harde schijf, maar tijdens een blikseminslag kun je alles kwijtraken. Is mij overkomen, externe harde schijf stond niet eens aan, maar was wel onherstelbaar beschadigd (en veel onderzoeksgegevens kwijtgeraakt).
Het beste is het netsnoer uit het stopcontact halen van een apparaat als je het niet gebruikt.
- On cloud storage, I would like to add an insight of my Colleague: "There is no cloud, only someone else's computer.", in that regard I miss an important disadvantage. There is a huge legal and practical risk of being unable to retrieve your data from the cloud if the cloud storage becomes unavailable. Due to police investigation or technical or bankruptcy.