Taller Básico de Metadatos con Énfasis en Metadatos Estadísticos

1. Taller Básico de Metadatos con Énfasis en Metadatos Estadísticos Caracas, 14 al 15 Julio de 2008 Zulay Méndez (zulay@ula.ve) Rodrigo Torréns (torrens@ula.ve)

2. Motivaciones del Taller Este taller forma parte del entrenamiento necesario para que los científicos, investigadores y gerentes de información de instituciones vinculadas a la captura, procesamiento, difusión y accesibilidad a datos, adquieran los conocimientos básicos para el manejo y gerencia de metadatos. Con ello se persigue despertar el interés de los participantes en preservar los datos a largo plazo, así como facilitar su acceso y difusión para evitar la duplicación de esfuerzos en la generación de información y enfocar el manejo de la información hacia objetivos estratégicos.

3. Objetivos específicos del Taller Los participantes aprenderán los conceptos básicos involucrados en el manejo de datos y metadatos científicos y estadísticos así como la importancia de documentar y preservar los datos a largo plazo. También conocerán la situación del manejo de datos y metadatos en otras instituciones internacionales que administran las estadísticas de sus respectivos países.

4. Base Teórica Sección 1. Datos ¿Qué son? ¿Por qué son importantes? Sección 2. ¿Qué son? ¿Por qué son importantes? Sección 3. Estándares de Metadatos ¿Qué son? ¿Cuáles hay?¿Porqué son importantes? Sección 4. Sistemas de metainformación ¿Qué son? Repositorios de metadatos ¿Qué són? Conclusiones

5. Sección 1. Datos ¿Qué son? ¿Por qué son importantes?

6. 1.1 ¿Qué son los “datos”? • Los datos constituyen registros de información de diferentes tipos que pueden obtenerse de varias maneras: manualmente, automáticamente a través de instrumentos, o a través de procesamiento realizado por computadores. • Por lo general están asociados o son producto de una investigación científica.

7. 1.2 Datos científicos Datos georeferenciados que representan en papel o digitalmente elementos o características de la superficie terrestre a diferentes escalas, tales como vías, cursos de agua, límites políticos, escuelas, usos del suelo, etc; en resumen, algo que se puede trazar. http://main.nc.us/GIS/guide/spatial/ GEOESPACIALES Datos numéricos, alfanuméricos o tipo texto recabados en campo o registrados por instrumentos. Pueden no tener ubicación geo-espacial. NO GEOESPACIALES

8. Situación Relativa Local N 926.000 N 923.000 Mi casa !! N 918.000 E 209.000 …1.2 Datos científicos Ejemplos de datos geoespaciales: Imágenes de satélite Mapas

9. Datos discretos basados en tiempo …1.2 Datos científicos Ejemplos de datos NO geoespaciales: Datos en columnas en una página web Texto delimitado

10. 1.3 Degradación de los datos en el tiempo Ejemplo de degradación normal de los contenidos de informaciónasociados con datos a través del tiempo Momento de publicación Detalles específicos acerca de la recolección de los datos se pierden al pasar el tiempo Retiro o cambio de carrera del científico recolector Contenidos de Información Accidente puede destruir datos y documentación Muerte del investigador y subsecuente pérdida de registros restantes Tiempo Tomado de: [Michener, 1997]

11. 1.4 ¿Qué son los datos estadísticos? Datos producidos por las operaciones estadísticas (censos, encuestas, etc.) Estos datos pueden ser demográficos, sociales, económicos, culturales, ambientales, geoespaciales.

12. 1.5Tipos de datos estadísticos Datos Agregados o Microdatos: Datos sobre características de las unidades de una población, tal como un individuo, hogares o establecimientos, recopilados por operaciones censales, encuestas u otro tipo de experimento (1) Toda la información relativa a una única unidad estadística, sea identificada, identificable o anónima (2) www.census.gov/srd/www/metadata/metada18.pdf http://www.estadistico.com/dic.html?p=2211&PHPSESSID=94d4dc2a6eb0dfd5fe5e4bcc797c1f2c

13. 1.5 Tipos de datos estadísticos Datos Agregados o Macrodatos: Datos obtenidos por aplicación de un procedimiento estadístico en el que se calculan como agregación de los datos individuales (microdatos). http://www.estadistico.com/dic.html?p=2212

14. Sección 2. Metadatos. ¿Qué son? ¿Por qué son importantes?

15. 2.1 ¿Qué significa la palabra “metadatos” (metainformación)? • "Datos sobre los datos“ • “..Conjunto común de términos y definiciones que describen las principales propiedades o características de los datos”. (Díaz .,2003,p1) • "Nivel superior de la información, o instrucciones que describen el contenido, contexto, calidad, estructura, y accesibilidad de una colección de datos específica" (Michener, 1997, p.331).

16. a) b) c) Mc M D M2 M1 M D D D 2.2 Formas o modelos básicos de metadatos Metadatos externos al recurso de información (Ficha bibliográfica en una biblioteca) Meta-metadatos (colecciones de metadatos) Metadatos como parte de los datos D=Dato M=Metadato

17. 2.2 Formas o modelos básicos de metadatos Metadatos como parte de los datos http://factfinder.census.gov/servlet/ADPTable?_bm=y&-qr_name=ACS_2006_EST_G00_DP3&-geo_id=04000US72&-ds_name=&-_lang=es

18. Publisher's Cataloging In Publication Data (Prepared by Quality Books, Inc.) Bell, Patricia J. Roughing it elegantly: a practical guide to canoe camping / by Patricia J. Bell ;illustrated by Linda Oliver Isakson. -2nd ed. p. cm.Includes bibliographical references and index.LCCN: 93-74305ISBN 0-9618227-0-81. Camping-United States2. Camping-United States-Equipment and supplies3. Canoes and canoeing-United States I. Title GV790.B45 1994 796.54'0973 QBI96-86 2.2 Formas o modelos básicos de metadatos Metadatos externos al recurso de información (Ficha bibliográfica en una biblioteca)

19. 2.2 Formas o modelos básicos de metadatos Ejemplo de meta metadatos (catálogo de colecciones): http://gce-lter.marsci.uga.edu/lter/asp/db/data_catalog.asp

20. 2.3 Preguntas que se deberían poder responder usando metadatos • ¿Qué describe la colección de datos? • ¿Quién produjo la colección de datos? • ¿Por qué fue creada la colección? • ¿Cómo se creó la colección de datos? • ¿Cuan confiables son los datos? • ¿Cómo sería posible obtener una copia de la colección de datos? • ¿Quién escribió los metadatos?

21. 2.4 Aspectos fundamentales que describen los metadatos • Los Metadatos describen diferentes aspectos de los datos, incluyendo: • Identificación • Qué temas se incluyen, cuan actualizada está la información? Hay restricciones para acceder o usar los datos?. • Calidad de los datos • Información sobre entidades y atributos • Distribución • http://www.main.nc.us/GIS/guide/using/tutp6nsdi.html

22. Datos y metadatos Científicos miembros de red de investigación Científicos del mismo campo de investigación 2.5 ¿Qué voy a hacer con los metadatos? ¿A quién le sirven los metadatos? (uso local vs uso global) • Uso local. • Uso por parte de la red. • Uso por parte de pares de investigación. • Uso global. Científicos y usuarios externos

23. 2.6 Importancia de los metadatos • Facilitar el procesamiento, análisis y modelado de los datos. • Facilitar la determinación de la conveniencia de los datos para cumplir con un objetivo específico: • Organizar y mantener el acervo del conjunto de datos de una organización • Encontrar y utilizar los datos que apoyen las investigaciones y la toma de decisiones. • En consecuencia, la utilización y manejo de metadatos respaldado por estándares nacionales, guías y políticas, beneficia el crecimiento económico y los intereses sociales y ambientales de una nación.

24. 2.7 Ejemplos de metadatos y de comunidades que usan metadatos • Bibliotecas. • Científicos. • Organizaciones gubernamentales. • Negocios, Comercio Internacional. • Industria, etc.

25. Documentación de datos ecológicos … 2.7 Ejemplos de metadatos y de comunidades que usan metadatos

26. … 2.7 Ejemplos de metadatos y de comunidades que usan metadatos Metadatos Geoespaciales http://cndg.clearinghouse.gub.uy/

27. … 2.7 Ejemplos de metadatos y de comunidades que usan metadatos Metadatos Sistema de Información de Biodiversidad de Colombia http://www.siac.net.co/sib/metadatos

28. … 2.7 Ejemplos de metadatos y de comunidades que usan metadatos Metadatos (Metodologías) Banco Mundial http://go.worldbank.org/KL9PKP01K0

29. 2.8 Metadatos Estadísticos (Metainformación estadística) • Es la información descriptiva o la documentación acerca de datos estadísticos (microdatos y macrodatos). • http://www2.uca.es/escuela/emp_je/investigacion/congreso/mdp004.pdf • También hacen referencia a definiciones, sistemas de parámetros, resultados operacionales, descripciones y procedimientos, los cuales caracterizan y resumen los datos estadísticos. • http://www.jstor.org/stable/pdfplus/1403567.pdf

30. 2.9 Importancia de los Metadatos Estadísticos • Son necesarios para que los usuarios puedan localizar, conocer y utilizar el dato estadístico. • Para salvaguardar la información a largo plazo. • La metainformación facilita la compartición, consulta y el entendimiento del dato estadístico a lo largo del tiempo de vida del dato. • Existen metadatos de acceso limitado que permiten dar paso a información confidencial la cual debe estar disponible para diseñadores y analistas de una operación estadística concreta. http://www2.uca.es/escuela/emp_je/investigacion/congreso/mdp004.pdf

31. 2.10 Clasificación de los metadatos estadísticos Sistemas: Información sobre las características físicas de la aplicación del conjunto de datos, tales como la localización, registro de diseño, los esquemas de bases de datos, los medios de comunicación, tamaño, etc; Aplicaciones : Información descriptiva sobre la aplicación de los productos y procedimientos, como muestra de diseños, cuestionarios, programas, definiciones de variables, editar especificaciones, etc; Administrativos: la gestión de información, tales como presupuestos, costos, etc http://www.census.gov/srd/www/metadata/ASA96TOC.HTML

32. 2.11 Ejemplos de metadatos estadísticos http://www.icane.es/general.jsp

33. …2.11 Ejemplos de metadatos estadísticos Instituto Nacional de Estadística, Geografía e Informática de México (INEGI) http://www2.inegi.gob.mx/estestint/metadatos.asp

34. …2.11 Ejemplos de metadatos estadísticos http://190.25.231.242/cgibin/RpWebEngine.exe/PortalAction?&MODE=MAIN&BASE=CG2005BASICO&MAIN=WebServerMain.inl

35. Sección 3. Estándares de Metadatos ¿Qué son? ¿Cuáles hay?¿Porqué son importantes?

36. 3.1 Estádares de metadatos ¿Qué son? Un estándar de metadatos establece un sistema de terminología común y de definiciones para documentar datos • Los estándares de metadatos promueven la comunicación entre sistemas garantizando la compatibilidad de la información. • Los estándares de metadatos estadísticos son una manera de asegurar que toda la información y sus interrelaciones puedan ser aprovechadas por el usuario.

37. …3.1 Estádares de metadatos. ¿Qué son? El objetivo en un estándar de metadatos será mejorar la organización y administración de los datos, y proveer información sobre los datos disponibles en una organización a terceros.

38. 3.2 ¿Cuáles estándares de metadatos existen? Hay muchos y variados estándares de metadatos disponibles: Estándares de uso general y en bibliotecas : Dublin Core:Búsqueda y catalogación de recursos de información en Internet. Estándarempleadotambiénparadocumentaralgunosdatosestadísticos. MARC: Catalogaciónbibliohemerográfica. RDF: Intercambio de recursos en Internet (muynuevo, relacionado con la iniciativaWeb Semántico) .     

39. …3.2 ¿Cuáles estándares de metadatos existen? Estándares para metadatos geoespaciales, biológicos y ambientales: FGDC-CSDGM. Content Standard for Digital Geospatial Metadata.Federal Geographic Data Committe (1994): Datos geoespaciales. [ http://www.fgdc.gov ] FGDC-NBII. Perfil Biológico de FGDC. Biología y ciencias naturales. [http://www.nbii.gov ]. Global Change Master Directory Interchange Format – DIF. (1993) Ciencias de la Tierra. [ http://gcmd.gsfc.nasa.gov ] Darwin Core (DwC). Colecciones de Historia Natural. Descriptores para Metadatos no-geoespaciales. NCEAS-LTER (1997) Datos ecológicos. Base del estándar EML.

40. …3.2 ¿Cuáles estándares de metadatos existen? AlgunosEstándaresparametadatosestadísticos: • ISO/IEC 11179: Especificación de metadatos dedicada a la semántica de los datos (1) • Content Standard for Cultural an Demographic Metadata (FGDC Subcommittee on Cultural and Demographic Data). Metadatos geoespaciales de datos culturales y demográficos. • Standard for Survey Desing and Statistical Methodology Metadata-SDMS. Estándarpara el diseño de encuestas y metodología de metadatos estadísticos (US Boreau of the Census) • Statistical data and metadata eXchange (SDMX). Intercambio de datos y metadatos estadísticos. • http://www.statcan.ca/english/freepub/11-522-XIE/2005001/9436.pdf

41. 3.3 Lenguajes y formatos de representación de metadatos Los metadatos se pueden representar de diferentes maneras: • En papel: anotaciones, tablas, en dibujos o mapas, etc. • En archivos de computadora: archivos texto, datos tabulares o delimitados, en tablas de Bases de datos, archivos html, archivos XML, etc. • Los archivos de computadora pueden (deberían) seguir un esquema estándar de representación de información (de los que se habló antes).

42. …3.3 Lenguajes y formatos de representación de metadatos Ejemplos archivos con metadatos Metadatos en formato texto

43. …3.3 Lenguajes y formatos de representación de metadatos Ejemplos archivos con metadatos <HTML> <HEAD><TITLE>Estacion la Hechicera 2001<TITLE> <META NAME="DC.Title" CONTENT="Datos Estación la Hechicera 2001"> <META NAME="DC.Description" CONTENT="Colección de datos climáticos capturados por la estacion meteorológica La Hechicera. Esta estación es parte de la Red de Estaciones del Edo. Mérida."> <META NAME="DC.Creator.Name" CONTENT="Carlos Guada"> <META NAME="DC.Publisher" CONTENT="Centro de Calculo Científico, Universidad de Los Andes"> <META NAME="DC.Type" CONTENT="text"> <META NAME="DC.Date.Issued" CONTENT="2001"> <META NAME="DC.Subject.Geographic" CONTENT="La Hechicera, Mérida, Venezuela"> <META NAME="DC.Coverage.dateStart" CONTENT="01-2001"> <META NAME="DC.Coverage.dateEnd" CONTENT="12-2001"> <META NAME="DC.Format" CONTENT="text/txt"> <META NAME="DC.Identifier.URL" CONTENT="http://www.cecalc.ula.ve/datos/lahechicera/2001/"> <META NAME="DC.Rights.Use" CONTENT="Uso libre mencionando la fuente (DC.Identifier.URL)"> </HEAD> <BODY> <h1>Datos Estación Hechicera 2001</h1> <a href="/webclima/datos/lahechicera/2001/"> Ver archivo texto con datos año 2001 </a> </BODY> </HTML> Metadatos estructurados en una página web (usando Dublin Core como estándar)

44. …3.3 Lenguajes y formatos de representación de metadatos Ejemplos archivos con metadatos Metadatos usando XML y EML como estándar de representación (visualizado en un navegador Web)

45. …3.3 Lenguajes y formatos de representación de metadatos Ejemplos archivos con metadatos Archivo anterior visualizado como página HTML en un navegador Web

46. 3.4 Statistical data and metadataeXchange (SDMX) • Es un proyecto patrocinado por 7 organizaciones estadísticas y financieras internacionales: Banco Mundial, Banco Financiero Internacional, Fondo Monetario Internacional, Organización para la Cooperación y Desarrollo Económico, Eurostat, Banco Central Europeo y la División de Estadísticas de las Naciones Unidas. • Cada una de estas organizaciones ha tenido la necesidad de describir, distribuir y transferir estadísticas con sus metadatos. http://www.statcan.ca/english/freepub/11-522-XIE/2005001/9436.pdf

47. http://www2.inegi.gob.mx/estestint/sms.asp

48. …3.4 Statistical data and metadataeXchange (SDMX) Metadatos usando XML y SDMX como estándar (visualizado en un editor de texto)

49. …3.4 Statistical data and metadataeXchange (SDMX) Datos usando XML y SDMX como estándar (visualizado en un editor de texto)

50. …3.4 Statistical data and metadataeXchange (SDMX) Archivo anterior (visualizado en una página web)