Print Pages

Access Page via Rule

Track Page Visit

Visited Pages JQuery

Navigatie EN HIV H I H II H III H IV H V H VI
Navigatie EN tablet HIV H I H II H III H IV H V H VI
Navigatie EN mob H4 H I H II H III H IV H V H VI

Data processing

   Main points

Data processing is an umbrella term for the transformations that research data can undergo during the various stages. In this section we will examine the transformations from the moment the research data is included in a data archive. Reference Model for an Open Archival Information System OAIS(1) knows three stages for data sets that are included in a data archive: 

Data processing in progress
  • Submission Information Package (SIP).
  • Archival Information Package (AIP).
  • Dissemination Information Package (DIP).

Before, during and after these three stages, data sets can be subject to transformation. For instance: 

  • Conversion from one data format to another (for example durable) data format.
  • Reorganization of folders and files.
  • Adding (extra) metadata and a persistent identifier.
  • Zipping and compressing a data set so that it takes up less storage space.
  • Data interaction where, for example, you can download part of a data set based on a query
  • ....

    Case from SIP to DIP

Stage 1

  • Deposit

Below is a short film about depositing an archaeological data set in EASY, DANS' online archiving system. 70% of the archaeological data sets in EASY are available via open access(2) (in Dutch).


Movie is in Dutch; Select HD-quality for the best viewing experience

Stage 2

  • Archiving

The image below image is an example of data processing after the data set has been deposited and before it is offered to users. On the left-hand side you will see the files as the data depositor uploaded them into EASY. On the right-hand side you will see how a DANS data manager re-organizes the files before he makes them available to EASY users: 

  • The pictures are no longer archived separately but are collected in the folder 'Photos'.
  • The Excel file has been converted to .csv. This preferred format can easily be opened as text or as a table.

Stage 3

  • Presentation and Availability

Above-mentioned data set can be found here.

  An in-depth look

  • Read this article(3) that compares the data deposit practices of sixteen data archives.

   Sources

Click to open/close

Sources

  1. CCSDS. (2012). Reference Model for an Open Archival Information System (OAIS). Retrieved from http://public.ccsds.org/publications/archive/650x0m2.pdf
  2. DANS. 70% archeologische data in EASY openbaar toegankelijk. Retrieved from http://dans.knaw.nl/nl/actueel/nieuws/70-archeologische-data-easy-openbaar-toegankelijk
  3. Young, A.; Tibbo, H. (2011, Winter). Examination of data deposit practices in repositories with the OAIS model. IASSIST Quarterly, 6-13. Retrieved from www.iassistdata.org/sites/default/files/iqvol35_tibbo.pdf

  Your additions 

Do you have any examples of data that has undergone a transformation? What was the result? Do you have any other observations? If so, please share them in the comments.  


Like · Dislike ·  
Not rated yet. Be the first who rates this item!
I like maybeLike · 

peter verberne - Eind jaren 80 en begin jaren 90 was word-perfect zeer geliefd als tekstverwerker. Wetenschappers (rechtenstudies en filosofie) sloegen bijna alles op in dit formaat. Toen slechts een tiental jaren later gepoogd werd om deze gegevens weer leesbaar te maken in andere toepassingen zijn sommige documenten geheel verloren gegaan en andere slechts ten dele succesvol geconverteerd naar open formaten, zoals txt bestanden.

2 years 9 months ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Rick Vermunt - Er kan er ook 1 bedenken: wat dacht je van Lotus Notes? Wie heeft er überhaupt ooit van gehoord? Ik was overigens verbaasd te zien dat Dbase zelfs nog bij acceptable formats wordt genoemd. Had ik niet verwacht.

2 years 9 months ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Marjo Bakker - Aan de eerste dataset die ik overbracht naar DANS EASY bleken door DANS extra trefwoorden te zijn toegekend. Dat vond ik best ver gaan; het voelde alsof er toch inhoudelijke veranderingen aan de dataset waren gedaan (terwijl het 'maar' metadata waren).

2 years 3 months ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Research Data Netherlands - @Marjo: Dat is nuttige feedback voor de datamanagers bij DANS. Die doen dit om de vindbaarheid van de data te vergroten. Ze nemen ook vaak contact op met degene die data deponeert, als ze denken dat de data (nog) beter gepresenteerd kan worden.

2 years 3 months ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Esther Eisen - Waarom wordt er gezegd dat de data in het voorbeeld 'Open Access' zijn terwijl je in moet loggen om ze te kunnen raadplegen?

2 years 4 weeks ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Research Data Netherlands - @Esther: Ha, mooi dat je een recente ontwikkeling op zijn staart trapt. Tot voor kort moesten bezoekers ingelogd zijn om data uit DANS EASY te kunnen downloaden, zodat we managementinformatie (voor DANS en voor sommige grote deponeerders) konden vergaren. Recent heeft DANS een verdergaande vorm van Open Access in EASY ingevoerd, waarbij inloggen niet meer nodig is. Fijn voor de hergebruiker, maar minder informatief voor de deponeerder en voor DANS, ook omdat het downloadpakket geen gebruiksvoorwaarden meer bevat met de regels voor het netjes citeren van de data bij hergebruik.
Vanwege het contract dat elke deponeerder met DANS EASY afsluit kan DANS niet zomaar met terugwerkende kracht alle datasets onder dit nieuwe regime brengen.

2 years 4 weeks ago · 
Not rated yet. Be the first who rates this item!

Stef Neerken - Al jaren maak ik, met grote tevredenheid, gebruik van DANS EASY om bestanden te ontsluiten (Toezichtkaart Voortgezet Onderwijs). De laatste jaren worden deze SPSS bestanden door DANS omgezet in meer duurzame bestandstypen als POR en DTA. Door het volgen van deze cursus leer ik de voordelen hiervan.

1 year 2 months ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Harry Garst - Is er een instituut dat er voor zorgt dat alle oude software bewaard wordt? En zo ja, hoe kunnen zij die software later gebruikmaken zonder te beschikken over licenties (die al jaren verlopen zijn en niet meer geheractiveerd kunnen worden). Zonder die software zijn veel data onbruikbaar (of beperkt bruikbaar).

4 months 6 days ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

Research Data Netherlands - @Harry: voor duurzaam bruikbare software kun je kijken bij https://www.softwareheritage.org/ en in het rapport van Patrick Aerts https://dans.knaw.nl/nl/actueel/software-in-een-nieuw-daglicht-rapport-en-webinar

4 months 5 days ago · 
Not rated yet. Be the first who rates this item!
I like maybeLike · 

RDNL uses cookies. More information Close