Les Grilles de Calcul et de Donnes'''

1
Les Grilles de Calcul et de Données...
Dominique Boutigny
Réunion dInformation sur la grille de calcul et
de données, EGEE Observatoire de Paris

• ... Introduction

27 mai 2008
2
Une grille ... Pourquoi ?

• Mettre à la disposition des utilisateurs une
  puissance de calcul et des capacités de stockage
  importantes
• Garantir lefficacité et la sécurité de ces
  calculs et stockages
• Fonctionner sur un mode décentralisé

3
Principales caractéristiques d'une Grille de
calcul
Les ressources sont en principe hétérogènes
Une grille est constituée d'un ensemble
d'ordinateurs et d'outils logiciels destinés à
les faire fonctionner de manière cohérente
Un système d'information (même très simple) doit
être présent pour allouer les ressources
informatiques adaptées aux tâches à exécuter
Chaque nud de la grille est administré
localement. Mais une coordination centralisée est
indispensable pour garder le système cohérent
Le réseau sur lequel s'appuie la grille est
crucial
Un système d'authentification et de sécurité doit
être présent
4
Importance du réseau
La qualité du réseau est primordiale pour le
fonctionnement des grilles de calcul
5
Différents types de grilles
Docking moléculaire
Imagerie médicale Astronomie
Grille de calcul
Grille de données
Données et calcul
Physique des Hautes Énergies
6
Le paradigme maître-esclave
Paradigme simple, mais qui correspond à beaucoup
d'applications
Grand nombre de tâches similaires, indépendantes
entre elles, a distribuer automatiquement sur une
grille de calcul.
Projet Decrypton AFM CNRS IBM Tester
l'interaction entre toutes les combinaisons
protéine-protéine possibles
7
Les grilles de données
ATAGGCATAGGCTATAGGCCAGATTAA
ATAGGCATAGGCTATAGGCCAGATTAA
Production de données par de nombreuses équipes
distribuées géographiquement et indépendantes
L'ensemble des données doit être accessibles par
tous
8
SRB / IRODS Un exemple de grille de données
Les utilisateurs ne veulent pas voir la complexité
Développé à SDSC
Envoyer données
Recevoir données
Recevoir données
Envoyer données
http//www.sdsc.edu/srb/index.php/Main_Page
9
La grille américaine BIRN
Biomedical Informatics Research Network
http//www.nbirn.net/
Imagerie cérébrale Étude des maladie du cerveau
10
Le LHC Un énorme générateur de données
gt 6000 ordinateurs PC haut de gamme 15 M
15 pétaoctets de données chaque année

• 15 PO de disque coûte environ 15 M, et il faut
  aussi
• De la redondance pour la sécurité
• Assurer les traitements successifs des données
• Stocker les résultats des simulations
  Monte-Carlo
• Assurer la mise à disposition des données pour
  une communauté distribuée dans le monde entier

11
La Grille pour le LHC n'est pas une option
C'est une nécessité
Grenoble
CC-IN2P3
Annecy
CC-IN2P3
Marseille
TRIUMF
FZK
CC-IN2P3
T3 (beaucoup)
Nantes
T1 (11)
RAL
ASCC
CNAF
Île de France
T0
PIC
Brookhaven
T2 (52)
NIKHEF
Lyon
Fermilab
NDGF
Strasbourg
Clermont
12
EGEE Une architecture de grille
pluridisciplinaire
De très nombreux domaines d'applications

• Archéologie
• Astronomie Astrophysique
• Protection civile
• Chimie
• Sciences de la Planète
• Simulation Financière
• Fusion
• Géophysique
• Physique des Hautes Energies
• Science de la vie
• MultiMedia
• Science des matériaux

Des milliers d'utilisateurs à travers le monde
13
240 sites 45 pays 41,000 CPUs 5
pétaoctets gt10,000 utilisateurs gt150 VOs gt100,000
tâches/jour
14
(No Transcript)
15
Pourquoi utiliser EGEE ?
EGEE est une structure de calcul
opérationnelle La gestion, le monitoring, la
coordination entre les sites, le dépannage,
laide aux utilisateurs sont assurés par une
organisation formelle Responsabilité partagée
entre les sites ? Indispensable pour assurer le
bon fonctionnement dune architecture de calcul
distribué de cette taille
EGEE est très bien adapté pour des applications
très calculatoires et manipulant de grande
quantité de données Le problème doit pouvoir être
découpé de façon à tourner sur des processeurs
indépendants
16
Pourquoi utiliser EGEE ?

• Grande flexibilité
• Possibilité de mobiliser une grande quantité de
  ressources pour résoudre rapidement un problème
  spécifique
• Par exemple
• Biomédical Disponibilité gratuite dun logiciel
  normalement payant pour une période très courte
• Gestion des catastrophes naturelles (par
  exemple détermination de lépicentre dun
  tremblement de terre)

17
Interopérabilité
L'idée d'une grille mondiale unique est un
mythe ? A terme les grilles doivent pouvoir
inter-opérer
OGF Organisation visant à définir des standards
ouverts
18
L'Institut des Grilles du CNRS

• Créé le 1er septembre 2007
• Fédérer lensemble des activités du CNRS dans le
  domaine des grilles de recherche et des grilles
  de production
• Meilleure visibilité
• Meilleure efficacité
• Renforcer linteraction entre ces deux domaines

• Point de contact pour les partenariats nationaux
  et internationaux
• Représentant du CNRS pour les contrats
  européens, pour les discussions auprès du
  Ministère
• Noyau central pour la  National Grid
  Initiative 
• Partenariat à nouer avec lINRIA et les autres
  organismes pour la recherche sur les grilles de
  calcul ? Relations avec Grid5000
• Partenaire des initiatives régionales

30 laboratoires 305 personnes inscrites ?
Véritable communauté Support administratif
19
Prospective nationale
Colloque national 6/7 octobre 2008
Prospective nationale pour les grilles de
productions coordonnée par lInstitut des Grilles
du CNRS
Groupes de travail 8 thématiques principales 6
transverses
Th-1 Planète, Univers, Environnement S.
Manoussis, M. Petitdidier, J.P. Villotte, Pierre
Matarasso, François Bouchet, Patrick Monfray
Préparation dune structure de Grille Nationale
élément de la future Grille Européenne
(EGI) Probablement basée sur des grilles
régionales bien dimensionnées et coordonnées
20
Le succès de la prospective nationale et de lIdG
est nécessaire pour assurer la transition
EGEE-III ? NGI / EGI
Le développement de la communauté utilisatrice
dEGEE en France et le renforcement de laspect
multi-disciplinaire est crucial.
Il est également important de créer de nouveaux
nuds sur la grille française