Sadirc2000 Proposta di esperimento al gr. 5

1. Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma approvato per il 1999 - Sadirc2000 - sezioni INFN e partecipanti - attivita’ nel 2000 - attivita’ nel 2001 - Richieste finanziarie G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

2. Obiettivi di Sadirc - Sadirc e’ stato proposto e approvato come esperimento biennale (1997 e 1998) per lo studio di reti a commutazione da utilizzare come event builder veloci nei sistemi di acquisizione dati negli esperimenti di fisica delle alte energie e di fisica nucleare. La proposta Sadirc e’ nata come esigenza comune di persone che afferivano ad esperimenti di fisica diversi: CMS, Euroball ed Icarus. - Altri obiettivi di Sadirc sono stati: - progettazione di controllori intelligenti di I/O veloci - realizzazione di micro sistemi di acquisizione dati per il test di rivelatori sia in laboratorio che sotto fascio. G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

3. Il problema dell’event Builder nei moderni esperimenti di fisica 40 MHz 100 Tbyte/s Detector Frontend Level 1 Trigger Readout Units 100 Gbyte/s Event Manager 105 Hz Event Builder Controls Filter Units 100 Mbyte/s 102 Hz Computing Services Collision rate 40 MHz Level-1 Maximum trigger rate 100 kHz Average event size 1 Mbyte No. of In-Out units (200-5000 byte/event) 1000 Event builder (512-512 switch) bandwidth 500 Gbit/s Event filter computing power 5 106 MIPS Data production Tbyte/day No. of readout crates 250 No. of electronic boards 10000 G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

4. Reti a commutazione studiate da Sadirc Sadirc ha studiato le seguenti reti a switch: - ATM (155 Mbit/s) - Fibre Channel Standard (1 Gbit/s) - GigaEthernet (1 Gbit/s) - Myrinet (TriDAS/CMS Cern) (1 Gbit/s) I risultati piu’ incoraggianti sono venuti da GigaEthernet e Myrinet. G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

5. GigaEthernet Tests LV-1 READOUT UNIT READOUT UNIT READOUT UNIT READOUT UNIT LV-2 EVENT MANAGER GE Switch GE Switch SFI SFI SFI SFI Farm Request - A GigaEthernet based 4x4 Event Builder test bed has been set up - Both Ru and FU are based on PII - 400 MHz commodity PC - All the nodes run vxWorks 5.3 - Two 7 ports Intel Express Gigabit Switch are used - Intel Pro 1000 PCI/GE interfaces are used - Both RCN and FCN are implemented using GE itself (and exploiting its full duplex features) - A standard vxWorks driver has been implemented according to the Pro 1000 specifications - Optimised software for Event Manager, Readout Unit and SFI has been written. G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

6. GigaEthernet: Event Builder Summary A B D C G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

7. GigaEthernet: Point to Point 4x1x4 READOUT UNIT READOUT UNIT READOUT UNIT READOUT UNIT SFI SFI SFI SFI Test Point G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

8. GigaEthernet: Event Builder Latency Time LV-1 READOUT UNIT READOUT UNIT READOUT UNIT READOUT UNIT LV-2 EVENT MANAGER GE Switch GE Switch SFI SFI SFI SFI SFI read Request Event Builder Latency time Time is taken from the SFI event read Request to the completion of the building of the relative event into the same SFI G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

9. Fast Ethernet Local Memory PMC-2 PMC-1 i960RD Primary PCI Prima generazione IOP di Sadirc The i960RD IOP is based on: - a RISC core of 50 MIPS - 2 PCI bridges with DMA (33/32) - 1 PCI to PCI bridge - a local bus at 33 MHz It is I2O compliant. CMS -IOP i960RD at 66 MHz 32 Mbyte EDO RAM Embedded FastEthernet 2 PMC slot available 2 form factor available: - standard PCI - VME/PMC to be connected to VME/RUM I960 Test RUI LV-1 DDU IOP RUM G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

10. Seconda generazione IOP di Sadirc Standard PMC connectors for Custom I/O or PCI2 ATX-CMS Custom I/O or PCI2 CUSTOM FPGA PPC 860T Local Bus Standard PMC connectors for PCI Host PLX 9054 MEMORY PCI Host Bus - Form Factor PMC - CPU PPC 860T (Embedded Fast Ethernet) - Local Bus at 50 MHz - Memory - PLX 9054 PCI to Local Bus Bridge. I2O queues - FPGA for custom I/O (100 lines) or secondary PCI This board has been designed by Atenix (Verona-Italy) under specification of TriDAS group. Some part of the project are developed in collaboration with LNL (secondary PCI, OS porting, etc.) Status of the project - 3 prototypes exist (pre-production) - 1 board fully mounted and running (ethernet and pci test in progress) -vxWorks ported and running (no ethernet) Evolution PowerQUICC II MPC 8260 200 MHz EC603e core 3 FastEthernet embedded 32 bit PCI bus PLX 9610 64 bit/66 MHz PCI chip G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

11. Analysis Filter Unit I “micro” sistemi DAQ di Sadirc - New Gasp - Prisma - CMS muon chamber - Icarus 60 t Detector Frontend Level 1 Trigger Readout Units Event Manager Event Builder Controls Filter Units Computing Services VME Readout Unit (OS vxWorks, Linux) Run Control based on Web MXI CAMAC Lv-1 TTL/NIM P M C VMEADCs TDCs P P C PC/WKS Filter Unit (OS Solaris, Linux) P M C Lv-2 Events Ethernet INPUT PCI MXI ETHERNET PC Readout Unit (OS vxWorks, Linux) Readout Unit MXI Lv-2 TTL/NIM Ethernet OUTPUT ETHERNET SCSI Lv-1 Events Storage PII IDE SCSI G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

12. Estensione dell’attivita’ al 1999 Configurazione di Test Readout Units (standard Desktop running vxWorks) 1 2 3 4 5 6 7 8 GigaEthernet Switch EVM Switch Farm Interfaces (Dual Proc/Dual Bus PCs running vxWorks) a b c d e f g h Sub-Farm PCs (standard Desktop running Linux) - I PC Readout unit ed EVM vengono recuperati dal prototipo funzionante e presentato in questa nota - Si comprano 4 PC standard desktop - Si comprano 4 PC dual proc/dual bus per provare la distribuzione degli eventi alle subfarm - Lo switch a 17 porte viene fornito dalla Intel sotto accordo “beta site” approvato. 4 PC Pentium III 500 MHz 6 Ml 4 PC PIII Dual Proc/Dual Bus 24 Ml 8 Interfacce GigaEthernet 12 Ml _________ Totale (con IVA) 51 Ml 45 Ml G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

13. La proposta Sadirc2000 La proposta Sadirc2000 si articola nel seguente modo: • Anno 2000: • Testare GigaEthernet 1000 Base T. GigaEthernet su cavi cat. 5 (1000 Base T) e’ stato approvato recentemente come standard internazionale. Per fine anno 1999 ci saranno i primi prodotti. I prezzi saranno competitivi con fastethernet. GigaEthernet a 100$ a porta potrebbe essere la soluzione per i grossi esperimenti con event builder a migliaia di nodi. 1000 Base T usa gli stessi chip di interfaccia dell’attuale GE in fibra. Ci aspettiamo quindi medesime prestazioni, ma prezzi, a regime, anche 10 volte inferiori. • Realizzare un dimostratore di event building 16x16 (16 sorgenti e 16 destinazioni) basato su 1000 Base T. Questo dimostratore estende i test positivi effettuati su GE in fibra (8x8), ne puo’ dimostrare la scalabilita’ , diventa un test significativo per verificare i simulatori (che poi scaleranno i risultati a 512x512 nodi). Il prezzo, se comparato al caso in fibra, e’ contenuto. • Realizzazione di sub-farm basate su Linux seguendo lo stesso schema del 1999, ma utilizzando uno switch giga/fastethernet • Anno 2001: • Studio di sistemi dedicati all’IO molto efficienti che potrebbero sostituire i nodi Readout Unit e SFI. Seguire lo sviluppo tecnologico sulle nuove architetture di macchine con particolare riferimento a NGIO e Future IO. Realizare dei prototipi di readout unit e sfi basati su queste tecnologie G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

14. Nuove Architetture di IO Ci sono almeno 2 iniziative promosse da grandi ditte produttrici di PC che sembrano molto interessanti per i nostri event filter. Queste iniziative hanno lo scopo di disegnare una nuova architettura di macchina nel tentativo di superare il bottleneck rappresentato dal modello a bus di IO condiviso (PCI). Queste iniziative si chiamano Next Generation IO (NGIO promosso da Intel, Sun, Dell, Hitachi, NEC e Siemens) e Future IO (promosso da Adaptec, Compaq, HP, IBM e 3COM) Le due proposte, a parte anche sostanziali differenze implementative, sono dal punto di vista architetturale molto simili Il bridge di IO diventa un DMA Engine IO Cntrl Channel Adapter Switch IO Cntrl Mem Cntrl CPU Mem Channel Adapter Non ci sono piu’ slot, ma links Il Bus di IO diventa uno Switch G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

15. Partecipanti a Sadirc2000 • Laboratori Nazionali di Legnaro • Luciano Berti (50%) • Michele Gulmini (50%) • Gaetano Maron (50%) • Nicola Toniolo (50%) • Gabriele Vedovato (50%) • XiaoQing Yang (50%) • Sezione di Padova • Marina Passaseo (30%) • Donatella Pascoli (25%) • Sandro Ventura (25%) G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

16. Richieste Finanziarie 2000 Laboratori Nazionali di Legnaro Inventario: 4 PC dual bus/dual processor 24 Ml 12 PC standard 36 Ml totale (con IVA) 72 Ml Consumo 32 interfacce GE - 1000 Base T 32 Ml 8 hard disc per macchine Linux 4 Ml totale (con IVA) 44 Ml Trasferte Estero (3 persone equivalenti) 30 Ml Trasferte Interno 4 Ml 150 ML Sezione di Padova Inventario: 1 Swtich Ge/FastEthernet 8 Ml 1 Switch Ge 72 Ml totale (con IVA) 96 Ml Consumo varie 4 Ml totale (con IVA) 4 Ml Trasferte Estero (0.5 persone equivalenti) 5 Ml Trasferte Interno 1 Ml 106 ML G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

17. Richieste Finanziarie 2001 Laboratori Nazionali di Legnaro Prototipi Readout Unit basati su NGIO 50 Ml Sezione di Padova Prototipi SFI basati su NGIO 50 Ml G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999