ITALIAN NATIONAL AGENCY

1
ITALIAN NATIONAL AGENCY
FOR NEW TECNOLOGY, ENERGY
AND THE ENVIRONMENT
2
Programma Operativo Nazionale 2000-2006 Ricerca
Scientifica, Sviluppo Tecnologico, Alta
Formazione Misura II.2 Società
dellInformazione per il Sistema Scientifico
Meridionale Azione a Sistemi di calcolo e
simulazione ad alte prestazioni
CRESCO Centro Computazionale di RicErca sui
Sistemi Complessi
3
ENEA - GRID 2 0 0 7
GEANT
30 CPU
boquad.bologna.enea.it
dafne.casaccia.enea.it
150 CPU
sp4_-1.frascati.enea.it
400 CPU
Kleos.portici.enea.it
Portici 25 CPU (CRESCO gt2500 cpu)
50 CPU
infocal.trisia.enea.it
Gateway to EGEE
ercules.brindisi.enea.it
Brindisi 15 CPU
Citrix Metaframe
Citrix Nfuse
WEB(ICA)
ICA
4
Infrastruttura HPC CrescoGARA Europeawww.cresco.
enea.it
5
Caratteristiche codici CRESCO

• Codici seriali ( UNIX)
• Codici paralleli fortemente accoppiati
• Codici paralleli debolmente accoppiati
• Più codici paralleli fortemente accoppiati che
  interagiscono fra loro ( es. accoppiamento fluido
  struttura)
• Codici particolari con funzioni molto spinte su
  alcuni algoritmi ( es. analisi immagini,
  genomica)
• Data base grandi dimensione
• Codici seriali ( windows)
• .

6
Caratteristiche dei dati dei codici CRESCO

• Accesso ai file di input ed output
• frequenza
• flusso per accesso
• Dimensione della memoria RAM
• visibile direttamente dal singolo nodo
• totale su tutti i nodi
• Data base grandi dimensione
• File grandi dimensioni (maggiori 20GB)
• ..

7
Infrastruttura HPC Cresco

• sistema di supercalcolo HPC
• sistema di storage ad alte prestazioni
• sistema software
• software di sistema
• software di gestione
• middleware ENEA-GRID
• software di monitoring
• ambienti per lo sviluppo applicativi ad alto
  parallelismo
• software applicativo
• rete di interconnessione
• alta banda e bassa latenza
• alta banda
• interconnessioni di servizio
• rete di interconnessione alla rete locale
• sistema di backup
• sistema di sicurezza
• sistema di alimentazione e di continuità
• adeguamento sistema condizionamento

8
Sistema di supercalcolo HPC (1) struttura in
funzione dei codici

• Codici seriali ( UNIX)
• Sezione 1 ( dimensionamento preliminare)
• Codici seriali che necessitano di memoria RAM
  maggiore di 4 GByte
• Una sezione con almeno 512 core organizzata ad
  uno o più nodi ad immagine unica di ciascuno di
  tipo SMP con almeno 16 Core per nodo.
• doppia interconnessi in fibra per il calcolo con
  una rete di almeno 1 Gbit/s
• una memoria ram di almeno 2 GByte per core
• due dischi almeno da 73GByte
• predisposizione connessione InfiniBand
• Sezione GRID
• Codici seriali che necessitano di memoria RAM
  minore di 2 GByte
• Su GRID si trovano alcune macchine che soddisfano
  le condizioni della Sezione 1 ( AIX, SGI,
  LinuxSGI)

9
Sistema di supercalcolo HPC (2) struttura in
funzione dei codici

• Codici paralleli fortemente accoppiati
• Sezione 2 ( dimensionamento minimo)
• Una sezione con almeno 2048 core organizzata con
  nodi ad immagine unica ciascuno di tipo SMP con
  almeno 8 Core per nodo, con configurazione 2
  socket quad-core
• doppia connessione Gbit ( per ogni 8 core )
• doppia connessione Infiniband 4X ( per ogni 8
  core ) ( reti proprietarie per immagini uniche
  SMP maggiori di 16 core)
• 1 GByte per core
• Un disco da 73GB SAS (per 8 core)
• Sezione GRID
• Su GRID si trovano alcune macchine che soddisfano
  le condizioni della Sezione 2 ( AIX, LinuxSGI,
  LinuxCRAY) per parallelismo fino ad un massimo di
  192 proc.

10
Sistema di supercalcolo HPC (4) struttura in
funzione dei codici

• Codici paralleli debolmente accoppiati
• Sezione 1 Sezione 2
• Una sistema totale con almeno 2560 core
• doppia connessione Gbit ( per ogni 8/16 core)
• 1/2 GByte per core
• Un disco da 73GB SAS (per 8 core)
• Sezione GRID
• Per codici fortemente disaccoppiati si possono
  sperimentare anche casi con circa 3000 core.

11
Sistema di supercalcolo HPC (3) struttura in
funzione dei codici

• Più codici paralleli fortemente accoppiati che
  interagiscono fra loro ( es. accoppiamento fluido
  struttura)
• Soluzioni possibili
• Partizionando la Sezione 2 (2 codici fortemente
  accoppiati)
• Sezione 1 ( codice poco scalabile) Sezione 2
  (codice scalabile)
• Sezione GRID codici su più site

12
Sistema di supercalcolo HPC (4) struttura in
funzione dei codici

• Codici particolari con funzioni molto spinte su
  alcuni algoritmi ( es. analisi immagini,
  genomica)
• Piccola sezione integrata CELLBE ( 8 CPU)
• Data base grandi dimensione
• Storage ad alte performance

13
Sistema di supercalcolo HPC (4) struttura in
funzione dei codici

• Codici particolari con funzioni molto spinte su
  alcuni algoritmi ( es. analisi immagini,
  genomica)
• Piccola sezione integrata CELLBE ( 8 CPU)
• Data base grandi dimensione
• Dischi ad alte performance
• Codici seriali ( windows)
• 4-5 nodi 4 core 64 bit 16 GByte RAM insieme a
  nodi di servizio ( Fuori gara)

14
Sistema di supercalcolo HPC (5) Dischi ad alte
prestazioni

• Caratteristiche Funzionali
• Il sistema dischi che ha come riferimento una
  capacità di circa 100 TByte nominali dovrà avere
  al minimo le seguenti caratteristiche
• Capacità nominale minima 120 TByte
• Capacita con in configurazione RAID6 96 TByte (
  ovvero con due dischi di parità)
• Prestazioni di picco minime 3 GByte/s
• Prestazioni sostenute minime, con File system
  GPFS, 2GByte/s
• Interfaccie minime (preliminare)
• n. 8 FC4
• supporto nativo InfiniteBand (IB)
• IB e FC4 devono poter essere inteconnesse allo
  stesso controller
• Caratteristiche di merito
• Velocità di scrittura e lettura uguali
• Verifica della parità in scrittura e lettura (
  questo è estremamente significativo per avere
  unaffidabilità nelle fasi di lettura)
• Livello di degrado delle prestazioni nella fase
  di ricostruzione del dato

15
Configurazione fisica di massima
Sala Calcolo Portici
Condizionamento 4 x 50 K watt 1
predisposizione
Dischi (1 Rack)
Rete HPC
Rete HPC
Rete LAN
Backup (1 Rack)
Ingresso
16
SP I.1 Realizzazione dellinfrastruttura HPCN

• Sala Calcolo CRESCO Portici

17
SP I.1 Realizzazione dellinfrastruttura HPCN
Nuovi Uffici CRESCO
18
Struttura dati SPX.X CRESCO
I Lanciatori multipiattaforma anno una
visibilità globale unica \afs\enea.it\project\cres
co\.......
Tool GRID
Portale GRID
Dati Sottoprogetto SP Cresco
Dati Utente Cresco
Frascatii
Portici
AFS enea.it
19
Menu
MENU
Ordinare per campo
Tabella con i dati dei campi

• Questo tool consente la gestione del DB dei
  codici generati dagli utenti nellambito del
  progetto CRESCO in ENEA

20
Tutorial Utilizzo Folder Viewer
Questo tool consente la navigazione nelle
cartelle public_html AFS in modalità grafica
via Web, permettendo inoltre laggiunta di una
descrizione dei contenuti.

• Requisiti
• AFS Client
• Utenza AFS

21
Utilizzo file .htaccess generale

• Consente laccesso a una pagina web protetta da
  login a tutti gli utenti AFS ENEA.
• Consente laccesso a una pagina web protetta da
  login a una lista idi utenti AFS ENEA.

22
Struttura generale dati CRESCO
23
Struttura dati SPX.X CRESCO
24
Cronogramma1 aprile 2006 31 dicembre 2008
Mesi 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 33 F
SP I.1 Realizzazione del Polo di calcolo                                    
Progettazione degli interventi e definizione delle specifiche                                  
Acquisizione ed installazione di sistemi HW/SW                                  
Implementazione dei sistemi HW/SW, avvio sperimentazione                                  
Collaudo finale dellintera infrastruttura                                  
Tutti gli altri Sottoprogetti                                    
Progettazione delle attività di RS nella tematica applicativa                                  
Sviluppo di modelli e codici, realizzazione di Software applicativi                                  
Implementazione di modelli, codici, ecc. per lutilizzo sulla piattaforma                                  
Produzione, elaborazione e pubblicazione dei risultati di RS                                  
25
Integrazione con gli altri progetti

• Definire un gateway ed una VO per ognuno dei
  progetti
• CYBERSAR - Cyberinfrastructure per la ricerca
  scientifica e tecnologica in Sardegna Cons.
  COSMOLAB /CRS4
• PI2S2 - Progetto per l'implementazione e lo
  sviluppo di una e-infrastruttura in Sicilia
  basata sul paradigma della GRID Cons.
  COMETA/INFN
• SCOPE - Sistema cooperativo distribuito ad alte
  prestazioni per elaborazioni scientifiche
  multidisciplinari Univ. Federico II Napoli

26
Collaborazioni di CRESCO (unfunded)

• Iniziati i contatti per definire i temi operativi
  della collaborazione
• Politecnico di Milano Dipartimento di
  Elettrotecnica
• United States Department of State, USA
• Oak Ridge National Laboratories, USA

27
CRESCO Centro Computazionale di RicErca sui
Sistemi COmplessi
www.cresco.enea.it
28
Struttura dati SPX.X CRESCO
I Lanciatori multipiattaforma anno una
visibilità globale unica \afs\enea.it\project\cres
co\.......
Tool GRID
Portale GRID
Dati Sottoprogetto SP Cresco
Dati Utente Cresco
Frascatii
Portici
AFS enea.it
29
WARC amministratori super e di Sito
30
WARC amministratori di progetto
31
Attività di supporto e formazione

• Create delle utenze esterne ENEA-GRID dedicate al
  progetto (circa 20)
• Creazione dei tutorial per lutilizzo della GRID
• I primi ricercatori esterni hanno iniziato a
  sviluppare e lavorare nellambiente generato
• Creazione del sito web di progetto
  www.cresco.enea.it

32
WARC amministratori di progetto
33
Ambiente GRID per CRESCO

• Progettata la struttura dati per le aree
  progettuali e iniziata dell implementazione
• Progettate le la modalità di inserimento dei
  software e della documentazione relativi al
  progetto
• Progettato e realizzato un di un tool di
  amministrazione capace di delegare la gestione
  delle aree progettuali