Print Pages

Access Page via Rule

Track Page Visit

Visited Pages JQuery

Navigatie Hoofdstuk III Hoofdstuk I Hoofdstuk II Hoofdstuk III Hoofstuk IV Hoofdstuk V Hoofdstuk VI
Navigatie HIII tablet I II III IV V VI
Navigatie Hoofdstuk III mobiel I II III IV V VI

Data opslaan

    Hoofdlijnen

Waar en op welk opslagmedium slaat een onderzoeker zijn onderzoeksdata op? Hoe gaat hij om met backups en versiebeheer (zie kader)? In deze paragraaf geven we een globaal overzicht van de mogelijkheden.

Opslagmedia

Informatie heeft een informatiedrager - een opslagmedium - nodig. De tijd heeft geleerd dat opslagmedia snel verouderen (zie infographic  (1) en (2)). Misschien denkt een onderzoeker nu goed af te zijn als hij zijn data op een USB-stick backupt, maar hoe lang bestaan USB-sticks nog? Kun je de data die op zo'n stick staan er straks nog wel afhalen? Hebben laptops (of aanverwanten) straks nog wel een USB-poort? En zijn data die zijn opgeslagen in een bepaald dataformaat straks nog wel te openen met de software die dan voorhanden is?

Opslagstrategie

Als je data voor een langere termijn leesbaar en bruikbaar wilt houden, dan is het zaak om goed over je strategie na te denken. UK Data Archive heeft de volgende punten(3) op haar lijstje met data storage best practices staan:

Sla data op in een open standaardformaat dat niet gebonden is aan een bepaalde software leverancier (zie ook voorkeursformaten).

Gebruik zelfs voor een kortetermijnproject een data-opslagstrategie waarbij twee verschillende typen opslagmedia gebruikt worden (bijvoorbeeld CD en harddisk).

Kopieer of migreer data elke twee tot vijf jaar naar nieuwe opslagmedia. Opslagmedia degraderen en zijn op termijn niet meer te openen met de dan gangbare hardware en software.

Overschrijf een oude backup niet met een nieuwe backup. Je kunt beter een geheel nieuwe backup maken van files die je veranderd hebt.

Check regelmatig de data-integriteit, bijvoorbeeld met een checksum checker.(4)

Organiseer en documenteer onderzoeksdata. Maak digitale versies van papieren data documentatie in het PDF/A formaat (geschikt voor langetermijnopslag).


Master file

Kortetermijnopslag

Voor kortetermijnopslag en backup zijn er grofweg drie mogelijkheden:

  • Op een eigen PC of laptop.

    Als een onderzoeker vanaf zijn eigen PC of laptop werkt, dan staat daar de zogeheten master file. Een master file is het bestand dat steeds gebruikt wordt op het moment dat de data ingevoerd worden. De backup is het bestand dat gebruikt wordt om data te herstellen als de master file kwijt raakt, beschadigt, per ongeluk verwijderd is of ten onrechte is veranderd. Je kunt op gezette tijden een back-up maken van je masterfile op bijvoorbeeld een USB flash-drive, DVD, CD of externe harde schijf (disk storage).
    Vaak werken onderzoekers op meerdere werkplekken. Ze werken bijvoorbeeld op de PC in het lab en op hun laptop thuis en onderweg. Ondertussen delen ze hun onderzoeksdata via cloud services zoals Dropbox(5) of het recentere Nederlandse SURFdrive(6). Natuurlijk kun je kopieën van de ene computer op de andere zetten. Dat betekent alleen wel dat je de bestanden handmatig moet kopiëren en dat je heel makkelijk uit het oog verliest wat de laatste versie van je bestand is (zie ook versiebeheer). In dit geval biedt file synchronization software uitkomst (zoals bijvoorbeeld Syncback.(7)).
     
  • Via centrale opslagvoorzieningen (network storage) bij de instelling waar de onderzoeker werkt.

    Als een onderzoeker gebruikt maakt van de network storage faciliteiten van zijn instelling, is het maken van een backup vaak al geregeld. Ook zijn er vaak zogeheten restore-mogelijkheden, waarbij je terug kunt keren naar een oudere versie van de data.
    Sommige onderzoeksgroepen leggen zelf een NAS-server aan. Dat is eigenlijk een externe harde schijf met netwerkfaciliteiten. Zo'n NAS-server kun je aansluiten op een computernetwerk en op dat moment kun je vanaf elk aangesloten apparaat bij je bestanden. Al deze PC's delen dan dezelfde backup server. Het inrichten van zo'n NAS-server vergt wel kennis van zaken.
  • Via cloud storage faciliteiten met synchronisatie naar één of meerdere PC's.

    Met de opkomst van cloud services boet het begrip 'Master file' langzaam aan betekenis in. Je kunt een programma zoals Dropbox downloaden op je PC. Alle wijzigingen die je aanbrengt, worden automatisch online opgeslagen. Als je vanaf een andere computer wijzigingen aanbrengt in het online document, dan worden die wijzigingen ook weer op je PC opgeslagen zodra je je PC aanzet (en er internet toegang is).   
    Je kunt ook je eigen cloud opslag maken.(8) Het nadeel van wereldwijde diensten zoals Dropbox is namelijk dat je niet weet of je data veilig zijn en of er meegelezen wordt. Voor diverse Nederlandse instellingen is dit een reden om SURFdrive te gebruiken in plaats van Dropbox.


In onderstaande tabel staan de diverse mogelijkheden - met hun voordelen en nadelen - nog eens op een rijtje. De tabel is met toestemming overgenomen van het Datamanagementplan-template van Wageningen Universiteit.(9)

Storage SolutionsAdvantagesDisadvantagesSuitable for
Personal Computer & Laptop

Always available

Portable

Drive may fail

Laptop may be stolen

Temporary storage

Networked drives

File servers managed by your university, research group or facilities like a NAS-server

Regularly backed up

Stored securely in a single place

Costs

Master copy of your data

(if enough storage space is provided ..)

External storage devices

USB flash drive, DVD/CD, external hard drive

Low cost

Portability

Easily damaged or lostTemporary storage
Cloud services

Automatic synchronization between folders and files

Easy to access and use

It's not sure whether data security is taken care of

You don't have direct influence on how often backups take place and by whom

Data sharing

Versiebeheer

Als er continu aan de data gewerkt wordt, is het zinvol om een vorm van versiebeheer te introduceren waarmee je de wijzigingen goed kunt volgen. De simpelste manier van versiebeheer is het toevoegen van een nummer aan het eind van een bestand na elke belangrijke wijziging. Bijvoorbeeld experiment_021213_v2.doc.

Ook binnen één file kun je een vorm van versiebeheer toepassen. Bij het onderdeel Datadocumentatie kun je een case lezen waarin een onderzoeker versiebeheer opneemt in haar databestanden door een tabblad 'versiebeheer' toe te voegen. 

Sommige programma's hebben een eigen automatische vorm van versiebeheer. Hier rechts zie je daar een voorbeeld van voor het programma Dropbox.   

Als onderzoek niet al te complex is, zijn bovenstaande methoden een prima manier voor versiebeheer. Werkt een onderzoeker veel met anderen aan zijn data samen en/of wordt dezelfde dataset continu bewerkt, dan kan een onderzoeker zijn heil zoeken bij versiebeheer software zoals bijvoorbeeld Git(10) (ook gebruikt in Github.(11)).

   Bronnen

Klik om te openen/sluiten

  1. Mashable. (2011). The history of digital storage. Mashable Infographics. Retrieved from http://mashable.com/2011/10/08/digital-storage-infographic/
  2. Mozy. (2011). The past, present and future of data storage. Retrieved from http://mozy.com/infographics/the-past-present-and-future-of-data-storage/
  3. UK Data Archive. (2011). Managing and sharing data. Retrieved from http://www.data-archive.ac.uk/media/2894/managingsharing.pdf
  4. National Archives of Australia. Checksum Checker. Retrieved from http://checksumchecker.sourceforge.net/ 
  5. Dropbox. Retrieved from https://www.dropbox.com/
  6. SURFdrive. Retrieved from https://www.surfdrive.nl/en
  7. 2BrightSparks. Syncback: backup software. Retrieved from http://www.2brightsparks.com/syncback/
  8. Vanderfeesten, M. Maak je eigen cloudopslag. Retrieved from https://www.surfspace.nl/artikel/1151-maak-je-eigen-cloudopslag/
  9. Wageningen Universiteit. Data Management Plans. Retrieved from http://www.wageningenur.nl/en/Expertise-Services/Data-Management-Support-Hub/Browse-by-Subject/Storage-solutions.htm (zie het DMP Template)
  10. Git, fast version control. Retrieved from git-scm.com
  11. Github. Retrieved from https://github.com/

Verder lezen

    Jouw toevoegingen

Ken jij voorbeelden van betrouwbare manieren om je data op te slaan en backups te maken? Heb je tips over het omgaan met versiebeheer? Of heb je andere opmerkingen op deze paragraaf? Laat het hieronder weten. 


Like · Dislike 1 ·  
Not rated yet. Be the first who rates this item!

Jan Heul - Gebruik thuis een dubbel backup systeem.
Eerste backup, wekelijks naar een extra harddisk in de pc.
Tweede backup, maandelijks naar een externe harddisk.

Versiebeheer is thuis niet heel belangrijk, het gaat voornamelijk om mijn foto's.
Bewerkte foto's houden de oorspronkelijke bestandsnaam, bewerkte krijgen een aangepaste naam.

3 years 5 months ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Richard Visscher - Binnen inholland gebruiken we Sharepoint. Ik gebruik vaak version beheer. daardoor hoef ik geen versiecode in de documentnaam op te nemen. Terugkijken van een eerdere versie is eenvoudig.
Voor software ontwikkeling (webapps) gebruik ik Subversion. Alle changes worden gelogd en gedocumenteerd. Ideaal

2 years 1 month ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Richard Visscher - Over backups (punt 4 opslag strategie) Ik mis info over soort backup. Een backup overschrijf je inderdaad niet daarvoor heb je het sysyeem van de incrementele backup: de eerste backup is een full backup, de volgende backups bevatten de wijzigingen: samen vormen ze steeds de actuele backup. Als je dat combineert met punt 3 gaat het nooit mis :-)

2 years 1 month ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Frans de Liagre Böhl - Bij de ontwikkeling van een storage voor datasets kom ik twee soorten van 'versies' tegen, nl die van bestanden die deel uitmaken van een dataset, maar ook versies van de set als geheel. In de onderzoekspraktijk komt het veelvuldig voor dat op basis van ruwe data meerdere 'versies' worden getrokken. Die versies moeten afzonderlijk bewaard worden als 'zelfstandige' datasets omdat elk van die versies ten grondslag liggen aan andere publicaties. Wij versionen dus zowel bestanden als datasets.

1 year 3 weeks ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Frans de Liagre Böhl - Waar ik overigens benieuwd naar ben is of iemand in de praktijk onderzoekers kennen die van Github gebruik maken voor versioning. Dat is een zeer krachtige tool, maar kan zoveel dat ik al snel door de versies het bos niet meer zie. Het blijft zoeken naar de balans tussen bruikbaarheid en zorgvuldigheid.

1 year 3 weeks ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Narges Zarrabi - For Storage solutions, I am missing a solution for long-term storage, for example storing the data in an Archive facility.

1 year 2 weeks ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Research Data Netherlands - @Narges: the course distinguishes storing data - during a project or a study - from archiving data - for the long term. In Chapter 4 you can find information about archiving, including references to certified data archives.

1 year 2 weeks ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Harry Garst - Je kunt thuis wel een backup maken op een externe harde schijf, maar tijdens een blikseminslag kun je alles kwijtraken. Is mij overkomen, externe harde schijf stond niet eens aan, maar was wel onherstelbaar beschadigd (en veel onderzoeksgegevens kwijtgeraakt).
Het beste is het netsnoer uit het stopcontact halen van een apparaat als je het niet gebruikt.

1 year 2 weeks ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

- On cloud storage, I would like to add an insight of my Colleague: "There is no cloud, only someone else's computer.", in that regard I miss an important disadvantage. There is a huge legal and practical risk of being unable to retrieve your data from the cloud if the cloud storage becomes unavailable. Due to police investigation or technical or bankruptcy.

5 months 1 day ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Rahul Thorat - With Google "Backup and Sync" you can sync your "documents" in Google cloud. Its biggest advantage over other storages is sharing/editing of documents in the form of "google docs". Obvious issues with Google are already mentioned by previous commentator.

1 month 3 weeks ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike ·