1 / 35

A Common Multimedia Annotation Framework for Cross Linking Cultural Heritage Digital Collections

A Common Multimedia Annotation Framework for Cross Linking Cultural Heritage Digital Collections. Hennie Brugman MPI for Psycholinguistics, Nijmegen, Netherlands Véronique Malaisé Free University, Amsterdam, Netherlands Laura Hollink Free University, Amsterdam, Netherlands.

davis
Download Presentation

A Common Multimedia Annotation Framework for Cross Linking Cultural Heritage Digital Collections

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. A Common Multimedia Annotation Framework for Cross Linking Cultural Heritage Digital Collections Hennie Brugman MPI for Psycholinguistics, Nijmegen, Netherlands Véronique Malaisé Free University, Amsterdam, Netherlands Laura Hollink Free University, Amsterdam, Netherlands LREC 2008, Marrakech, Morocco Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  2. Overview • The CATCH programme and its annotation requirements • Existing models • Annotation Meta Model (AMM) and its application to CATCH cases • Software and infrastructure • Conclusions Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  3. CATCH – Continuous Access To Cultural Heritage • Dutch research program funded by NWO • Apply state of the art methods to the construction and exploitation of digital collections of large Cultural Heritage institutions • Currently 10 projects, hosted by Cultural Heritage institutions • Rijksmuseum Amsterdam, Dutch National Archive, Dutch National Library, Netherlands Institute for Sound and Vision, etc • Results and software applicable across institutions and collections Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  4. Annotations in CATCH • Objectives: • Cross media, cross collection, cross institution annotation of digital objects and segments of objects • Add new layers of annotation to existing annotations • Centralize storage and exploitation of annotations generated by CATCH projects • Apply and showcase annotation recommendation modules/services from several CATCH projects Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  5. Annotations in CATCH Primitive value (string, date, number,…) “some text description” property Resource Semantic value property http://www.beeldengeluid.nl/GTAA#Subject_kunst_ Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  6. Annotations in CATCH Resource “Abraham van Beijeren” • complete resource • catalog, metadata • resource types • images • text • html, xml • audio • video artist Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  7. Annotations in CATCH Resource segment – sound-video “very much” choral:transcription Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  8. Annotations in CATCH Resource segment - image “roemer” racm-glass:Shape Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  9. Annotations in CATCH Resource segment – scanned handwriting “boven eener verloting te Amsterdam” scratch:transcription Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  10. Annotations in CATCH Resource segment – text “boven eener verloting te Amsterdam” scratch:transcription choice:location http://geonames.org/NL/Amsterdam Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  11. Annotations in CATCH Resource segment – text “boven eener verloting te Amsterdam” “bommenwerpers boven de hoofdstad” http://geonames.org/NL/Amsterdam Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  12. Annotations in CATCH Resource segment – text “boven eener verloting te Amsterdam” “bommenwerpers boven de hoofdstad” http://geonames.org/NL/Amsterdam http://TGN/NL http://TGN/Amsterdam Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  13. Annotations in CATCH • Further requirements for the annotation formalism • Project and media specific extensions • Predefined annotation schemes • Generic and specific queries possible • Expressive and simple • Reuse or include existing annotation models or vocabularies Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  14. Existing annotation models • Semantic web community • Focus on (semantic) annotation values • Anchoring mainly to complete resources or web pages • Linguistic annotation community • Anchoring to text or time series • Usually no semantic values • Media industry (e.g. MPEG-7) • Objections • Not all media types covered • Too complex or specialized • Hardly ever annotation of annotations, and of segments of annotation values Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  15. Annotation Meta Model (AMM) – why RDF? • RDF, RDFS and OWL seem good modeling languages for the domain of annotation - graphs versus hierarchies • Some of our requirements automatically met: • Class and property inheritance • Constraints (e.g. domains and ranges for properties) • Integration of semantic values • Classes and instances for annotation schemes and annotation resp. • General and specific queries Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  16. AMM – Core model Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  17. AMM – Core model Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  18. AMM – Core model Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  19. AMM – Core model Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  20. AMM – Core model Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  21. TextSpan Region2D TimeSegment AMM – Core model AnnotatableObject TextObject ImageObject TimeSeriesObject Coordinates Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  22. ann AMM – Scanned handwriting case Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  23. ann AMM – Scanned handwriting case Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  24. ann AMM – Scanned handwriting case Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  25. ann AMM – Scanned handwriting case Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  26. ann AMM – Scanned handwriting case Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  27. AMM – Other cases • Semantic annotations of segments of text documents • Manually annotated image regions • Complex linguistic annotation of co-occurring speech and gesture • Syntactic annotation of text Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  28. Software and infrastructure • RDF repository, wrapped with AMM web service • Stores AMM model, project-specific annotation schemes and annotation data • Java API, defining and implementing this web service • Clients: • CHOICE@CATCH documentalist support system • Integrated multimedia and web based “Annotation and Recommendation” demonstrator for CATCH Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  29. CHOICE Documentalist Support System Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  30. Annotation and Recommendation demonstrator Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  31. Conclusions • All requirements seem to be met • Applicable to a wide range of very different cases • Repository works efficiently, however not yet tested with a large number of AnnotatableObjects (so far, approx. 50.000) • Highlights: • Layered annotation • All media types are or can be supported • Annotation with multimedia objects or object segments possible Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  32. Thank you Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  33. Instances: CHOICE text annotation (n1, n2) addressesTextSpan a1 dc:title “AndereTijdenGemmeker.txt” partOf r1 apoldaSubject apoldaOntology “Subject” apoldaIdentifier “http://www.beeldengeluid.nl/Thesaurus/GTAASkosv7.owl#” Subject_bevelhebbers_ Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  34. Instances: video/audio annotation t1 hasTime “3521” addressesTimeInterval t2 hasTime “4692” a1 dc:title “gesturing_people.mpg” partOf next transcription “dit is gesproken tekst” a2 textObject partOf (beginNode, endNode) addressesTextSpan partOfSpeech http://www.isodatcats.org/part-of-speech#Noun t3 hasTime “3854” t4 addressesTimeInterval hasTime a3 “5290” dc:title “gesturing_people.mpg” partOf dc:description handshape “some gesture description” http://www.mpi.nl/myShapes#fist Nederlandse Organisatie voor Wetenschappelijk Onderzoek

  35. Instances: syntax tree on text (n0, n3) “Der” addressesTextSpan hasText a1 hasText “Der Mann geht schnell” syntax dc:title “german sentence 1” partOf D r1 partOf “Mann” a2 partOf anchorsTo hasText partOf a4 addressesTS (n4, n8) addressesTS “schnell” a3 (n14, n21) syntax addressesTS (n9, n13) “geht” syntax N syntax Adv V anchorsTo anchorsTo NP1 anchorsTo VP1 anchorsTo NP syntax anchorsTo syntax S1 syntax VP S Nederlandse Organisatie voor Wetenschappelijk Onderzoek

More Related