PROGETTI E ARCHITETTURE GRID Progetti Grid INFN-NA e UniNA

1. Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica – I Anno • PROGETTI E ARCHITETTURE GRID • Progetti Grid INFN-NA e UniNA • Sistemi di calcolo distribuito tradizionali e Grid computing • Architettura, livelli, protocolli e servizi Grid • Come funziona una Grid Griglie computazionali

2. Progetti GRID INFN-NA e UniNA Griglie computazionali - a.a. 2009-10 Griglie computazionali

3. Campus GRID Monte Sant’Angelo NAPOLI Banda 1 Gbit World Wide GRID Campus GRID Calcolo Parallelo e Linux Farms Progetto Campus GRID (2003-2004) Struttura comune di HPC (High Performace Computing) basata su GRID a livello di campus universitario per la ricerca scientifica in Fisica, Chimica, Matematica. FisicaINFN – INFM CdC Reg. Chimica INSTM Matematica ICAR Centro Stella di Campus Griglie computazionali

4. Campus Grid a Monte Sant’Angelo DSF: Locale 1G01 (sede infrastruttura principale del Campus Grid) DSF DSF : Locale 1M16 DiChi DMA GARR Collegamenti in fibra fra DSF, Chim. e Mat. C.S.I. Griglie computazionali

5. COSTITURE UNA STRUTTURA DI CALCOLO AVANZATO BASATA SU GRIGLIE COMPUTAZIONALI (“CAMPUS GRID”) Dip. di Chimica Dip. di Scienze Fisiche Dip. di Matematica ICAR CNR INFN INFM INSTM Griglie computazionali

6. Progetto S.Co.P.E (2005-2008)“Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche Multidisciplinari” Obiettivo finale del progetto è la realizzazione di un Sistema di Calcolo ad Alte Prestazioni, orientato ad applicazioni scientifiche multidisciplinari, che operi anche secondo il paradigma GRID, dedicato alla modellistica computazionale ed alla gestione di grosse banche dati, per ricerche nelle aree applicative di interesse del progetto, ovvero: Scienze del Microcosmo e del Macrocosmo, Scienze della Vita, Scienze dei Materiali e dell’Ambiente. + area tecnologica: Middleware Griglie computazionali

7. Struttura centrale (CSI) Area delle Scienze MM.FF.NN. (Campus – GRID) Area delle Scienze Mediche e Biotecnologie Area delle Scienze Umane e Sociali Organizzazioni esterne ma collegate Area delle Scienze Ingegneristiche Macroarea Macroarea Macroarea Scienze M.F.N. Medicina Medicina Dip. Biochimica e Biotecnologie mediche Dip.Matematico- Statistico Dip. di Scienze Fisiche Dip.Informatica e Sistemistica INFN Sezione di Napoli Dip. Ingegneria Elettrica Dip. di Matematica CNR-SPACI Napoli Dipartimento di Sociologia Centro diEccellenza per lo Studio delle Malattie Genetiche Dip.Ingegneria Elettronica e delle Telecomunicazioni Dip. di Chimica INFM Unità di Napoli CEINGE Dip.Ingegneria Chimica CRIAI Dip. di Analisi e Progettazione Strutturale ARPA CINI 19Departments and Research Institutes 128Professors and Senior researchers from UniNA + many others from Research Institutes (INFN, etc.) 35 Young researchers (assegni di ricerca) 28Technology specialists (co.co.co.) Griglie computazionali

8. Astrophysics group • Search for gravitational waves • Data mining and visualization of astronomical massive data sets • http://virgo.infn.it and http://www.eurovotech.org/ • Particle Physics (subnuclear physics) group • Study of proton-proton interactions at the CERN-LHC Large Hadron Collider and implementation of a Tier2 Data Centre for large scale, data intensive Montecarlo simulations and data analysis • http://lxatlas.na.infn.it • Bioinformatics group • Study of genome sequence analysis and image analyses for cell motility and other dynamical phenomena • http://bioinfo.ceinge.unina.it/ and http://www.ceinge.unina.it • Numerical Mathematics and Scientific computing group • Study and design of algorithms for distributed scientific applications and implementation on HPC infrastructures • Statistical mechanics group • Study of applications of statistical mechanics to complex systems • http://smcs.na.infn.it/ • Electromagnetism and Telecommunication group • Study of models and measurements of electromagnetic field in the Napoli metropolitan area • http://www.diet.unina.it/gruppoCE/GruppoEl.html • Material Science group • Study of molecular dynamics and optical properties of nano-structured materials • http://lsdm.campusgrid.unina.it/ and http://www.nanomat.unina.it • Soft Matter Engineering group • Study of models and simulations of the flux of micro-structured materialshttp://wpage.unina.it/p.maffettone Griglie computazionali

9. The SCoPE Data Center 33Racks (of which 10 for Tier2 ATLAS) 304 Servers for a total of 2.432 processors 130 TeraByte storage 2 remote sites: Fac. Medicine: 60 TB storage Dep. Chemistry: 8 server multiCPU (4-proc) Griglie computazionali

10. INGRESSO Fisica Biologia Data Center SCOPE Control Room SCOPE Griglie computazionali - a.a. 2009-10

11. SCoPE DataCenter & Tier2 ATLAS Cabina elettrica1 MW Griglie computazionali

12. Control room Data Center Chem. Med. Low latency network 2432 core Griglie computazionali

13. S.CO.P.E. CAMPUS GRID Monte Sant’Angelo DSF INFN Fibra ottica DMA DiChi GARR C.S.I. Centro S.CO.P.E. Cabina elettrica G.E. 1 MW Dipartimento di ScienzeFisiche Sezione INFN Control room S.CO.P.E. The Metropolitan Network GARR 2.4 Gb/s Griglie computazionali

14. POP GARR CATANIA CITTADELLA POP GARR ROMA POP GARR BARI 2.5 Gbit 2.5 Gbit 2.5 Gbit POP GARR M.S. Angelo 1 Gbit 2x1 Gbit 1 Gbit ENEA TIER2 1 Gbit 1 Gbit INFN NAPOLI 2x1 Gbit 2x10 Gbit 10 Gbit SCOPE UNINA Griglie computazionali - a.a. 2009-10 TIER2

15. Interoperabilità fra i Progetti dell’Avviso 1575/2004 ESPERIENZA VIRTUOSA E DI SUCCESSO NEL MERIDIONE NASCITA DI UNA NUOVA COMUNITA’ SCIENTIFICA STIMABILE NELL’ORDINE DI 800 TRA RICERCATORI E TECNICI 5 DOCUMENTI STRATEGICI E TECNICI OPERATIVI 15 TECNICI DEDICATI ALL’INTEROPERABILITA’ 10.000 UNITA’ DI CALCOLO Programma Operativo Nazionale 2000-2006 “Ricerca, Sviluppo Tecnologico, Alta Formazione” Asse II “Rafforzamento e apertura del sistema scientifico a di alta formazione meridionale” Misura II.2 “Società dell’Informazione per il Sistema Scientifico Meridionale” Azione a – Sistemi di calcolo e simulazione ad alte prestazioni Griglie computazionali

16. Obiettivi della comunità “1575” INTEROPERABILITA' dell'infrastruttura, delle applicazioni e del supporto agli utenti SERVICE LEVEL AGREEMENT Risultati raggiunti: • Favorire una proficua sinergia finalizzata a delineare la struttura portante della infrastruttura GRID meridionaleche presenti fattori manifesti o latenti di attrattività • per il sistema industriale • Aprire ad altri soggetti che operano • in ambito GRID per promuovere un proficuo interscambio nazionale ed internazionale • Promuovere e favorire gli elementi • di novità: • Nuove comunità di utenti scientifici • Grid Computing anche per il • mondo produttivo e e sociale E’ stata creata una community e sono state gettate le basi per le prossime sfide della programmazione 2007-2013: • LA REALIZZAZIONE DELL’e-INFRASTRUTTURA ITALIANA APERTA ALLA COLLABORAZIONE • E ALL’INTERAZIONE TRA RICERCA E IMPRESA Griglie computazionali

17. Il nuovo soggetto: GRISU’ L’attività di interoperabilità proseguirà al termine dei progetti dell’Avviso 1575 nell’ambito di una struttura organizzativa denominataGRISU’(Griglia del Sud). Protocollo di Intesa stipulato tra i soggetti attuatori dei quattro progetti (ENEA, UniNA Federico II, Cons. COSMOLAB, Cons. COMETA) e il Cons. SPACI (già fruitore del progetto omonimo cofinanziato tramite l’Avviso 68 della programmazione 2000-2006). • Ricerca, Sviluppo e Innovazione • Cooperazione con le Imprese • Integrazione nell’Italian Grid Infrastructure e nell’European G. I. Griglie computazionali

18. SPACI GARR GARR Altri Enti e realtà PI2S2 Strategia di Interoperabilità Griglie computazionali

19. EGI European GRID Infrastructure IGI Italian GRID Infrastructure INFN-GRID ENEA-GRID PORTICI BRINDISI LECCE TRISAIA GRISU’ Griglie computazionali - a.a. 2009-10

20. INFN-GRID ENEA-GRID Griglie computazionali

21. Il futuro dell’ e-Infrastruttura della rete GARR IL FUTURO GARR-X NEL MERIDIONE FASE ZERO: INTEGRAZIONE TRA I 4 PON LA RETE DELLARICERCA OGGI Griglie computazionali

22. Le Regioni “Obiettivo”per la programmazione 2007-2013 dell’UE Convergenza (CONV) (in ritardo di sviluppo) Phasing Out (out da CONV, gode del Sostegno Transitorio) Phasing In (in CRO) Competività Regionale e Occupazione (CRO) Ph OUT Ph IN Griglie computazionali

23. Beyond SCoPE • Aerospace, Automobile • Telecommunications, Informatics, Elettronics • Security • Chemistry, Farmaceutica, Biomedicine • Transportation e logistics • Finance and Economy • Services for Public • High bandwidth network and services • Cloud computing Scientific and industrial applications • High Performance Computing e Grid Computing. • Data Mining • Development of algorithms and software • Cooperation between Science and Industry • Interoperability and Integration in GriSù  IGI  EGI Griglie computazionali

24. Global knowledge infrastructure e-sience e-business aeronautics genomics environment astronomy e-Infrastructure security semantic web. broadband automatic management mobility Oltre l’e-Science verso . . . “ La luce della scienza cerco e ‘l beneficio “ (Galileo Galilei) Griglie computazionali

25. Sistemi di calcolo distribuito tradizionali e Grid computing Griglie computazionali

26. Esempio Cluster di PC Mass storage condiviso R e t e Utenti Che cosa è un sistema distribuito ? E’ un sistema di molti processori distribuiti su rete locale o geografica, interconnessi tra loro, accessibili agli utenti nel modo più trasparente possibile e capaci di cooperare tra loro alla soluzione di un problema (ad es. un’applicazione dell’utente). Griglie computazionali

27. “Pro” e “Contro” di un sistema distribuito • rispetto a Mainframes o a PC indipendenti • Vantaggi: • Basso costo in rapporto alle prestazioni. • Potenza integrata scalabile. • Reti a banda larga e affidabili (100 Mb/s – 10 Gb/s). • Distribuzione delle risorse di calcolo su più sedi (es. banche, aziende, industrie, istituzioni scientifiche, università). • Affidabilità dell’intero sistema (riduzione dei single points of failure). • Condivisione di dati su più sedi (es. database comuni). • Lavoro collaborativo (es. video e audio conferenza, e-mail, web). • Problemi: • Gestione “globale” e “controllata”. • Riservatezza e Sicurezza delle informazioni. • Disaster Recovery su scala geografica. Griglie computazionali

28. CPU CPU CPU LSF, PBS, … Job Manager Submit job Run job M M M cache cache cache L A N File Server Esempio di loosely coupled SW su loosely coupled HW: Network Operating System (file condivisi) Griglie computazionali

29. Problema: Controllo centralizzato, mancanza di coordinameno per l’esecuzione dei processi e scarsa interazione tra i sistemi componenti. Soluzione: Sistema operativo distribuito: tightly-coupled SW su loosely-coupled HW come se fosse un singolo sistema invece che una collezione di singoli sistemi. Obiettivi da raggiungere: Meccanismo unico di comunicazione fra i processi (Interprocess communication) Schema unico di protezione globale (Security). Unica gestione dei processi (Process management). Unico meccanismo di accesso ai dati (Data management). Sistema informativo globale (Information system). Autonomia di utilizzo delle risorse locali (Governance). Griglie computazionali

30. Requisiti di un sistema distribuito • Trasparenza: • Il sistema deve apparire come un sistema singolo. Si puo’ ottenere a due livelli: • Flessibilità: • Adattabilità a nuove esigenze. • Affidabilità (reliability): • Caratteristica intrinseca del sistema distribuito: se una macchina ha problemi il job può andare su altre. • Efficienza (performance): • Parametri di efficienza (performance metrics): • Response time. • Throughput (numero di job in un’ora, strettamente dipendente dal tipo di job: • cpu bound o I/O bound). • Uso di banda trasmissiva sulla rete. • Granularita’ del calcolo (grain size): • Fine-grain parallelism (difficile per un SD). • Coarse-grain parallelism (si adatta meglio a un SD). • Scalabilità: • L’espandibilità è un requisito fondamentale di un sistema distribuito. Griglie computazionali

31. CHE COSA E’ UNA GRID ? • Si parla di molti tipi di griglie computazionali: • Science Grid, Bio Grid, Campus Grid, Data Grid, Sensor Grid, • Cluster Grid, ecc. • (In passato, analoga confusione di termini: SNA, DECNET erano parte di • Internet o no ? Chiarimento: Internet è architettura basata su IP (Internet • Protocol). • Necessità di una definizione di GRID non ambigua ! • 1969 (Len Kleinrock) – • Analogia con le reti elettriche e telefoniche. • “We will probably see the spread of ‘computer utilities’, which, like present • electric and telephone utilities, will service individual homes and offices • across the country”. Griglie computazionali

32. 1998 (Ian Foster e Carl Kesselman) – • “A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive and inexpensive access to high-end computational capabilities”. • 2000 (Ian Foster, Carl Kesselman e Steve Tuecke) – • Grid computing is concerned with “coordinated resource sharing and problem solving in dynamic, multi-istitutional virtual organizations”. • Punti chiave: • Capacità di negoziare secondo regole stabilite la condivisione di risorse (computers, software, dati, ecc.) da parte di organizzazioni o istituzioni (scientifiche, industriali, governative, ecc.) che agiscono da Virtual Organizations. • Importanza di definire protocolli standard per consentire la interoperabilità e realizzare una infrastruttura comune. Griglie computazionali

33. DEFINIZIONE DI GRID IN 3 PUNTI • GRID è un sistema che: • Coordina risorse che non devono essere soggette ad alcun controllo centralizzato. • (es. PC desktop personali, nodi di calcolo e database di istituzioni sparse su territorio nazionale e nel mondo, senza la necessità del controllo tipico di un sistema a gestione locale, pur garantendo la sicurezza e la realizzazione delle politiche di utilizzo all’interno di un’organizzazione virtuale). Griglie computazionali

34. 2) Usa protocolli e interfacce standard, open, general-purpose. (essenziali per assicurare in modo trasparente funzionalità di base quali autenticazione, autorizzazione, ricerca e accesso alle risorse). 3)Assicura un’elevata qualità di servizio (QoS - Quality of Service). (es. tempi di risposta, throughput, disponibilità, sicurezza, co-allocazione di risorse). Griglie computazionali

35. Non sono GRID (ad esempio): • Un sistema di gestione di code batch che utilizzano le CPU di un computer multi-processore o di computer inseriti in un cluster o su una LAN: c’è controllo centralizzato delle risorse e conoscenza completa dello stato del sistema. • Il Web: benché usi protocolli standard, aperti e general-purpose, manca l’uso coordinato delle risorse per assicurare la migliore QoS. • Sono approssimativamente GRID (ad esempio): • c) I sistemi di schedulers multi-site (es. Condor, Entropia) o di database federati (es. Storage Resource Broker) che distribuiscono risorse in modo non centralizzato e assicurano seppur limitate QoS, pur non basandosi completamente su standards. Griglie computazionali

36. Sono GRID (ad esempio): • I progetti di “Data Grid” per il calcolo intensivo e distribuito in ambito accademico e scientifico in EU (EDG, CrossGRID, Data Tag, LCG, EGEE), in USA (GriPhyN, PPDG, iVDGL) e in Asia (ApGrid) e molti altri ancora. • Essi si propongono di: • Integrare risorse anche non omogenee appartenenti a molte istituzioni che conservano in ogni caso le loro politiche di utilizzo. Accesso on-demand alle risorse. • Usare protocolli aperti, standard e general-purpose per la gestione delle risorse (ad es. il GlobusToolkit, l’EDG Toolkit, l’Open Grid Service Architecture - OGSA). • Garantire qualità di servizio in vari settori (sicurezza, affidabilità, prestazioni, ecc.). Griglie computazionali

37. Architettura, livelli, protocolli e servizi Grid Griglie computazionali

38. IL PROBLEMA GRID • Realizzare la condivisione coordinata di risorse su larga scala • in un contesto di organizzazione virtuale, multi-instituzionale e dinamica. • Occorre una nuova architettura che: • identifichi le componenti principali del sistema. • specifichi lo scopo e la funzione di queste componenti. • indichi come queste componenti interagiscono fra di loro. • definisca servizi e protocolli comuni per garantire l’interoperabilità attraverso la rete (flessibilità di aggiungere nuovi utenti, servizi e piattaforme hw/sw in modo dinamico) e costituire così un sistema aperto. Griglie computazionali

39. DEFINIZIONI • PROTOCOLLO: • Insieme di regole e formati per lo scambio di informazioni. • Protocolli standard sono fondamentali per assicurare l’interoperabilità. • Esempi: • Internet Protocol (IP): trasferimento di pacchetti senza garanzia di affidabilità. • Transmission Control Protocol (TCP): costruito su IP per definire un protocollo affidabile. • Transport Layer Security Protocol (TLS): costruito su TCP, garantisce sicurezza e integrità dei dati. • Lightweight Direct Access Protocol (LDAP): costruito su TCP, è un protocollo per l’accesso a directories (anche database). Griglie computazionali

40. SERVIZIO: protocollo + funzione. • Capacità di svolgere una funzionalità sulla rete • (ad es. muovere files, creare processi, verificare diritti di accesso). • Un servizio è definito in base alla funzione che svolge ed al protocollo che “parla”. • Esempi: • FTP server: parla il File Transfer Protocol e gestisce l’accesso in lettura e scrittura di files remoti. Opera il trasferimento di pacchetti senza garanzia di affidabilità. • LDAP server: parla il protocollo LDAP e supporta le risposte alle interrogazioni (ad es. usando informazioni presenti in un database). • Più servizi possono parlare lo stesso protocollo: ad es. nel Globus Toolkit il Replica Catalog (RC) e l’Information Service (IS) usano entrambi LDAP. Griglie computazionali

41. L’ARCHITETTURA A CLESSIDRA Si tratta di un modello a strati(layers). Il modello di riferimento è la clessidra (hourglass): • Il centro (neck) della clessidra definisce un piccolo insieme di astrazioni di base (core) e di protocolli (servizi di base). • La parte superiore contiene high level services (o behaviors) che si basano sui servizi e protocolli sottostanti. • La parte inferiore contiene le risorse della grid. Griglie computazionali

42. Griglie computazionali

43. Application Collective Resource Connectivity Fabric Griglie computazionali

44. FABRIC Layer: Interfacce per il controllo locale • Fornisce le risorse per l’accesso condiviso da parte • della Grid. • Ad esempio: • Risorse computazionali • Sistemi di storage • Cataloghi • Risorse di rete • Sensori • Le risorse devono assicurare un meccanismo di enquiry che consenta di scoprire la loro struttura, lo stato e la loro capacità • ed un meccanismo di management per il controllo della qualità del servizio offerto. Griglie computazionali

45. CONNECTIVITY Layer: Comunicazione facile e sicura Definisce i protocolli base per la comunicazione e l’autenticazione. I protocolli di comunicazione abilitano lo scambio dei dati fra le risorse del fabric layer e si basano sui protocolli dell’architettura Internet (IP, TCP, UDP, DNS, RSVP). I protocolli di autenticazione sono costruiti sui servizi di comunicazione per fornire meccanismi crittografici sicuri per verificare l’identità di utenti e risorse. Griglie computazionali

46. I protocolli di autenticazione devono avere le seguenti caratteristiche: • Single sign on: l’utente si deve autenticare una volta sola. • Delegation: propagazione delle credenziali ai programmi • Integration with local security: non sostituiscono ma si mappano nell’environment locale. • User-based trust relationships: il sistema di security non • deve richiedere che i sistemi di security locali interagiscano tra • di loro per configurare l’ambiente di sicurezza. • Il Globus Toolkit usa i protocolli GSI (Grid Security Infrastructure) per l’autenticazione (certificati con formato X.509), la protezione della comunicazione (estende i protocolli di TLS - Transport Layer Security) e l’autorizzazione. Griglie computazionali

47. RESOURCE Layer: Condivisione di risorse singole • Definisce i protocolli per negoziare, iniziare, • monitorare, controllare, addebitare l’utilizzo • di risorse singole, cioè non distribuite. • Questi protocolli utilizzano funzioni del Fabric per • accedere e controllare risorse locali. • Due classi principali di protocolli dello strato Resource: • Information protocols, per ottenere informazioni sulla configurazione e lo stato di una risorsa. • Management protocols, per negoziare l’accesso alla risorsa condivisa. Griglie computazionali

48. Il Globus Toolkit usa protocolli standard: • GRIP (Grid Resource Information Protocol), basato su LDAP per definire uno standard resourceinformationprotocol e il relativo informationmodel. • GRRP (Grid Resource Registration Protocol), per registrare le risorse. • GRAM (Grid Resource Access Management), basato su HTTP, per l’allocazione delle risorse di calcolo e per il monitoring e il controllo del calcolo su queste risorse. GRAM utilizza il linguaggio RSL (Resource Specification Language) per la specifica delle richieste. • GridFTP (Grid File Transfer Protocol), basato su FTP, per l’accesso ai dati; ha funzionalità estese rispetto a FTP (usa i protocolli di sicurezza dello strato Connectivity, gestisce una sorta di parallelismo per i trasferimenti ad alta velocità, ecc.). • LDAP (Lightweight Directory Access Protocol), per l’accesso a directories. • A ciò si aggiungono servizi quali: GIIS (Grid Index Information Service); GIS (Grid Information Service); GRIS (Grid Resource Information Service). GSS (Generic Security Service). • L’ Information Service ha un ruolo fondamentale nella grid perché sta alla base del resource discovery e del decision making. Griglie computazionali

49. Griglie computazionali

50. COLLECTIVE Layer: Coordinamento di collezioni di risorse • Definisce protocolli e servizi (e API e SDK) che • non sono associati a una singola risorsa ma a • una collezione di risorse. Essi si basano sui protocolli definiti • nel Resource e nel Connectivity layer. Quindi possono implementare una • vasta gamma di servizi senza porre nuovi requisiti sulle risorse condivise. • Esempi di servizi: • Directory services: consentono ai membri di una VO di identificare le risorse a disposizione della VO. Utilizzano i protocolli GRRP e GRIP. • Co-allocation, scheduling and brokering services: consentono ai membri di una VO di richiedere e schedulare l’allocazione di una o più risorse (es. Condor-G). • Monitoring and diagnostics services: consentono il monitoraggio delle risorse di una VO, inclusi gli attacchi (intrusion detection). • Data replication services: consentono la gestione ottimizzata delle risorse di storage di una VO per massimizzarne le prestazioni (tempi di risposta, affidabilità, ecc.). Griglie computazionali