Porovnání integračních technologií RNDr. Ondřej Zýka ondrej.zyka@profinit. eu

1. Porovnání integračních technologií RNDr. Ondřej Zýka ondrej.zyka@profinit.eu

2. Obsah • Integrační technologie • Replikace • ETL – Extract/Transform/Load • EAI – Enterprise Application Integration • EII – Enterprise Information Integration • Porovnání • Rychlost • Konzistence • Reakce na chyby • Úroveň abstrakce • Architektura • Bezpečnost • Dostupnost

3. Integrační technologie • Replikace – 70 léta • ETL – 80 léta • EAI – 90 léta • EII – dnes • Vývoj kopíruje • schopnosti techniky • požadavky praxe • rozhled a schopnosti uživatelů

4. Další termíny • MDM Master Data Management • EIM Enterprise Information Management • CDI Customer Data Integration • PIM Product Information Management • SOA Service Oriented Architecture • ESA Enterprise Service Architecture • EDQ Enterprise Data Quality

5. Replikace • Synchronizace vícenásobného uložení dat • databáze • souborové systémy • Pracuje se nejčastěji na úrovni tabulek (nebo databází, souborů, adresářů) • Replikace podmnožiny sloupců, řádků, replikování procedur • Konsistence na úrovni transakcí

6. Technologie • Asynchronní × Synchronní zpracování • Dvojfázový commit ?? • Snapshots × Transakce • kdy načítat snapshot • čtení transakčního logu • použití triggerů • Publisher-subscriber × Point-to-point • kdy považovat transakci za doručenou

7. Replikace • Cíle • Zvládnout velké tabulky, velké objemy dat • Nízké nároky na komunikace • Jednoduché nastavení • Jednoduchá správa • Slabiny • Malá možnost transformace dat • Malá možnost podmíněných transformací nebo složitějších konstrukcí

8. Replikace - administrace Sybase replication server - sledování a administrace replikačního systému

9. ETL • Přenos dat mezi jednotlivými úložišti (souborové systémy, databáze) • Konsolidace dat, úpravy dat, čištění dat • Zdroje na úrovni tabulek (datasetů) • Zpracování v dávkách, nástroje na správu dávek • Řešení chybových stavů

10. ETL • Cíle • Vytváření a správa složitých transformačních pravidel • Použití metadat • Zvládnutí velikých objemů dat • Zvládnutí složitých plánovacích a transformačních schémat • Slabé stránky • Malá možnost reakce na události • Určeno pro dávkové zpracování (datové sklady) • Zdroje jsou zejména tabulky

11. ETL – návrh transformací Informatika PowerCenter – design transformace

12. ETL – dohled zpracování Informatika PowerCenter – dohled zpracování

13. Enterprise Application Integration Analýza jednotlivých transformací mezi dvěma systémy

14. Enterprise Application Integration • Propojení systémů na vyšší abstraktní úrovni • Maximální nezávislost (aplikací, operačních systémů, dodavatelů,…) • Cíle • Vytvořit univerzální koncepty (J2EE) • Vytvořit univerzální protokoly (XML, JDBS, JMS, CORBA, COM, SOAP, WSDL, BPEL) • Vytvořit univerzální prostředí (J2EE servery, BizTalk, Commerce Server 2000)

15. Enterprise Application Integration • „Slabá“ stránka – komplikovanost • Snaha vyřešit vše • Integrace na úrovni dat • Integrace uživatelského prostředí • Integrace aplikací • Sjednocení metodologie integrace • Vazba na obchodní procesy • Identifying sources of data • Building the enterprise metadata model • Process integration • Identifying application interfaces • Mapping information movement • Selecting and applying the technologies • Testing • Maintenance

16. Enterprise Application Integration Vytváření transformačních schémat v BizTalk Serveru

17. SOAP • SOAP (Simple Object Access Protocol, 1998) zpráva je XML dokument, který obsahuje následující elementy: • Obálku (Envelope) element, která identifikuje XML dokument jako SOAP zprávu - povinný • Hlavičku (Header) element, který obsahuje popis - nepovinný • Tělo (Body), které obsahuje informace požadavku nebo odpovědi - povinné • Chybový (Fault) element, který obsahuje informace o chybých při zpracování • Některá pravidla syntaxe • SOAP zpráva musí být XML • SOAP zpráva musí použít SOAP Envelope jmenný prostor • SOAP zpráva musí použít SOAP Encoding jmenný prostor • SOAP zpráva nesmí obsahovat DTD • SOAP zpráva nesmí obsahovat XML Procesní instrukce

18. WSDL • WSDL (Web Services Description Language, 2001) je specifikace jak popsat web servisy společnou XML gramatikou. Popisuje čtyři základní části dat: • Informace o interface popisuje veřejně dostupné funkce. • Informace o datech pro všechny požadavky a odpovědi. • Transportní informace o použitých protokolech. • Adresní informace pro nalezení specifikovaných služeb

19. BPEL • BPEL (Business Process Execution Language, 2003) je jazyk umožňující organizovat činnost systémů nabízející vebové služby. • Používá XML • Používá webové služby jako základní prvky • Definuje (popisuje) podnikové procesy • Definuje množinu operací protojující web servisy • Podporuje operace s datovými prvky • Podoruje definici instancí procesů • Podporuje životní cyklus instancí procesů • Podporuje transakční model • Nedefinuje grafickou reprezentaci, neobsahuje metodologii

20. BPEL příklad <assign> <copy> <from variable="c1"/> <to variable="c2"/> </copy> <copy> <from variable="c1" part = "address"/> <to variable="c3"/> </copy> </assign>

21. Příklady produktů pro EAI • Sun: • Java Composite Application Platform Suite (SeeBeyond) • Messaging Server • Tibco • DataExchange • Rendezvous • Enterprise servis bus • Oracle • BPEL Process Manager • IBM • WebSphere Enterprise Service Bus • WebSphere MQ

22. Enterprise Information Integration • Provázanost koncových uživatelů s aktuálními a integrovanými daty • Distribuce jednotných pohledů na data v celém podniku • Cíle • Vytvořit jednotné prostředí pro práci s daty z mnoha systémů • Zapojení mnoha prostředí pro práci s daty • Přístup k strukturovaným (databáze), semistrukturovaným (email, XML, spreadsheed) a nestrukturovaným (dokumenty, content management systems) datům • Umožnit měnit některá data

23. Enterprise Information Integration • Důvody • zvýšení typů koncových uživatelů • mobilita koncových uživatelů • Slabiny • Extrémní komplikovanost • Málo zkušeností • Nutnost reagovat na vývoj technologií

24. Enterprise Information Integration Architektura EII podle IPEDO. Inc

25. Shrnutí

26. Architektura řešení Pattern Point-to-point Jednoúčelové aplikace Podle Sun - J2EE

27. Architektura řešení Pattern Systém hub Založeno na midleware

28. Architektura řešení Pattern Spoke-hub Centralizované řešení

29. Jádro Schopnosti Obsah vlastního katalogu Abstrakce dat Robustnost Škálovatelnost Propustnost Administrovatelnost Konektory Typy Množství Připravenost Složitost nastavení, konfigurovatelnost Upravovatelnost Možnost vlastního vývoje Architektura integračních technologií

30. Porovnání • Rychlost • Konzistence dat • Chování v případě výpadků • Dostupnost, bezpečnost

31. Rychlost • Synchronní přenos • Dvoufázový commit • Distribuované transakce • Asynchronní přenos • Okamžitě • Jak rychle infrastruktura dovolí • Dávkově • Na vyžádání • Další faktory • Jak zatížíme zdrojové systémy • Jak zatížíme komunikaci • Jak zatížíme cílové systémy

32. Konzistence dat • Konzistence • Na úrovni transakcí • Na úrovni aplikací • Na úrovni podniku • Otázky • Jak zajistit konzistenci • Jak zjistit, že je porušena • Jak reagovat, když zjistíme, že je porušena

33. Chování v případě výpadků • Výpadky provozních systémů • Výpadky integračních technologií • Schopnost zálohovat konfiguraci • Schopnost automatického zotavení po výpadku • Schopnost technologií • Uchovávat přenášená data • Vypořádat se s duplicitou dat • Zjistit výpadek v datech

34. Dostupnost • Závislost jednotlivých komponent na dostupnost ostatních komponent • Zvýšení nároků na dostupnost pro adresářové služby a služby autentizace • Zvýšení nároků na dohled background systémů • Zvýšení nároků na dostupnost pro všechny systémy

35. Bezpečnost • Formát přenosu mezi systémy • Napadnutelnost, oprávněnost přístupu • Důvěryhodnost middleware • Jednotný systém ověření a práv

36. Závěr • Dotazy • Komentáře • Připomínky • Upřesnění Děkuji za pozornost