1 / 68

Dátové sklady

Dátové sklady. Pokročilé dátové technológie Genči. Obsah. Literatúra Pojem INFORMÁCIA Motivácia pre DWH Bližší pohľad na DWH Š tr uktúra DWH Metadata Komponenty DWH Nástroje (Tools). Literatúra.

clare
Download Presentation

Dátové sklady

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Dátové sklady Pokročilé dátové technológie Genči

  2. Obsah • Literatúra • Pojem INFORMÁCIA • Motivácia pre DWH • Bližší pohľad na DWH • Štruktúra DWH • Metadata • Komponenty DWH • Nástroje (Tools)

  3. Literatúra [1] Lacko L.: Datové sklady, analýza OLAP a dolování dát s příklady … . Computer Press. Brno. 2003 [2] Paulraj Ponniah: Data Warehousing Fundamentals: A Comprehensive Guide for IT Professionals. 2001. John Wiley & Sons, Inc.ISBNs: 0-471-41254-6 (Hardback); 0-471-22162-7 (Electronic)

  4. Literatúra (pokr.) [3] Ralph Kimball, Margy Ross: The Data Warehouse Toolkit. Second Edition. 2002. Wiley Computer Publishing. [4] W. H. Inmon: Building theData WarehouseThird Edition. 2002. John Wiley & Sons, Inc.

  5. Pojem INFORMÁCIA[1] • Údaje sa stávajú informáciami, ak • máme údaje; • vieme, že máme údaje; • vieme, kde máme tieto údaje; • máme k nim prístup; • zdroju údajov môžeme dôverovať.

  6. Hierarchia informačných úrovní Múdrosť Znalosti Informácie Údaje

  7. Motivácia pre DWH • Exekutíva potrebuje informácie (napr.) kvôli rozhodnutiu: • kde postaviť ďalší sklad; • ktorú produktovú líniu rozvíjať; • ktorý tržný segment by mal byť posilnený • t.j. potrebuje realizovať strategické rozhodnutia a pre ne potrebuje strategickú informáciu

  8. Strategická informácia • Nemôžu ju poskytnúť OLTP systémy • Neslúži pre denno-denné riadenie spoločnosti

  9. Požadované vlastnosti strategickej informácie

  10. „Vstup“ dát

  11. „Výstup“ informácií

  12. Vyplývajúce protirečenia • Organizácie majú veľké množstvo dát ale • IT zdroje a systémy nie sú schopné efektívnym spôsobom toto množstvo dát premeniť na strategickú informáciu

  13. Informačná kríza • Nie kvôli nedostatku dát, ale preto, že dáta nie sú použiteľné pre strategické rozhodovanie • Dôvody: • Údaje sú v spoločnostiach rozložené naprieč mnohými typmi nekompatibilných štruktúr a systémov

  14. Prevádzkové systémy (spracovanie objednávok, skladová evidencia, fakturácia, ...)nie sú navrhované pre poskytovanie strategickej informácie. • Ak potrebujeme poskytovať strategickú informáciu, musíme spracovať dáta uložené v rôznych typoch systémov. • Iba špeciálne navrhnuté DSS alebo IS môžu poskytovať strategickú informáciu.

  15. Rozdiely

  16. Koncepcia dátového skladu • Vezmite všetky dáta ktoré máte v organizácii, vyčistite a transformujte ich a následne poskytujte užitočnú strategickú informáciu

  17. Koncepcia dátového skladu

  18. Bližší pohľad na DWH

  19. Inmonová definícia DWH William (Bill?) Inmon, považovaný za otca dátových skladov, definoval DWH takto: • “A Data Warehouse is a subject oriented, integrated, nonvolatile, and time variant collection of data in support of management’s decisions.”

  20. Subjektovo-orientovaný

  21. Integrované dáta

  22. Nemenné dáta

  23. Časovo závislé (time-variant) dáta • Prevádzkové systémy – aktuálne hodnoty dát. • Dáta v dátovom sklade sú určené na analýzy a podporu rozhodovania. • Dátový sklad, vo svojej podstate, musí obsahovať historické dáta a nielen aktuálne hodnoty. Dáta sú ukladané ako obrazy (momentky, fotky; z angl. snapshots) minulých a súčasných období. • Každá dátová štruktúra v dátovom sklade obsahuje element času.

  24. DWH – zmes technológií

  25. Štruktúra dátového skladu

  26. Celková štruktúra DWH

  27. Zdrojové dáta • Produkčné systémy • Interné dáta (spreadsheets) • Archívné dáta (pásky) • Externé dáta (akcie, úroky, kurzy …)

  28. Dočasné úložisko (data staging) • Extrakcia (Data Extraction) • Transformácia (Data Transformation) • Prenos dát (Data Loading)

  29. Presun dát do dátového skladu

  30. Poskytovanie informácií (Information Delivery)

  31. METADATA v dátovom sklade

  32. Dôležitosť METADÁT Users to compose and run the query can have several important questions: • Are there any predefined queries I can look at? • What are the various elements of data in the warehouse? • Is there information about unit sales and unit costs by product? • How can I browse and see what is available? • From where did they get the data for the warehouse? From which source systems? • How did they merge the data from the telephone orders system and the mail orders system? • How old is the data in the warehouse? • When was the last time fresh data was brought in? • Are there any summaries by month and product?

  33. Metadata v dátovom sklade obsahujú odpovede na otázky ohľadom dát v dátovom sklade

  34. Metadata v OLTP • V prevádzkových systémoch nepotrebujeme poznať „podstatu“ uložených dát. • Neexistuje požiadavka „user-friendly interfejsu„ na prístup k obsahu databázy. • „Data dictionary“alebo „systémovýkatalóg“sa využíva iba pre systémové potreby (IT potreby).

  35. Metadata v DWH • Používatelia potrebujú dostatočné podklady k tomu, aby boli schopní prezerať a „skúmať“ obsah dátového skladu. • Používatelia potrebujú poznať význam (zmysel) jednotlivých dátových položiek. • Používateľom musí byť zabránené urobiť nesprávne závery analýz potenciálne vyplývajúce z nesprávnej interpretácie sémantiky dát. • Bez adekvátnej podpory v oblasti metadát, používatelia veľkých dátových skladov sú úplne stratení!

  36. Typy Metadát • Metadata v dátovom sklade delíme do troch kategórií: • Prevádzkové (Operational) Metadáta • Extrakčné a Transformačné (Extraction and Transformation) Metadáta • Používateľské (End-User) Metadata

  37. Prevádzkové metadáta • Data for the data warehouse comes from several operational systems of the enterprise. • These source systems contain different data structures. • The data elements selected for the data warehouse have various field lengths and data types. • In selecting data from the source systems for the data warehouse, you split records, combine parts of records from different source files, and deal with multiple coding schemes and field lengths. • When you deliver information to the end-users, you must be able to tie that back to the original source data sets. • Operational metadata contain all of this information about the operational data sources.

  38. Extraction and Transformation Metadata • Extraction and transformation metadata contain data about the extraction of data from the source systems, namely, the extraction frequencies, extraction methods, and business rules for the data extraction. Also, this category of metadata contains information about all the data transformations that take place in the data staging area.

  39. End-User Metadata • The end-user metadata is the navigational map of the data warehouse. It enables the end-users to find information from the data warehouse. The end-user metadata allows the end-users to use their own business terminology and look for information in those ways in which they normally think of the business.

  40. THE ARCHITECTURAL COMPONENTS

  41. ARCHITECTURAL FRAMEWORKFlow of data

  42. ARCHITECTURAL FRAMEWORKControl

  43. Data Acquisition • Dataacquisitioncovers the entire process of extracting data from the data sources, moving all the extracted data to the staging area, and preparing the data for loading into the data warehouse repository. • The two major architectural components are source data and data staging.

  44. Data Acquisition (2)

More Related