Lexprience eToile

1

• Lexpérience e-Toile
• Plate-forme Grille expérimentale
• Quels enseignements?
• Pascale Vicat-Blanc/Primet
• Responsable scientifique deToile
• INRIA projet RESO
• LIP/ ENS Lyon

2
Plan de la présentation

• 1) Contexte et problématique eToile
• 2) Création et vie de la plate-forme
• 3) Aspects middleware
• 3) Réflexion sur ce qui a été fait
• 4) La suite?

3
Objectifs du projet

• 1) Construire une plate-forme grille
  expérimentale à léchelle nationale
• 2) fédérer les acteurs français actifs dans le
  domaine des grilles
• 3) proposer une solution logicielle en
  alternative aux solutions existantes.
• 4) évaluer lapport de la technologie Grille au
  niveau application.

4
Organisation du projet
Comité de projet
Comité d exploitation
Comité d architecture
Développement Middleware Veille technologique
Plate-forme / Ressources
5
Objectifs dune plate-forme

• Echelle dintégration 
• Diverses technologies sont intégrées, déployées
  et testées de manière totalement nouvelle.
• Construction de communautés 
• communautés utilisateurs et développeurs
• Les plate-formes permettent daccélérer leur
  formation
• Mesurer les risques 
• quantifier et qualifier les résultats
• mesurer les nouvelles opportunités et risques

6
Définir une plate-forme

• Principaux choix à faire
• 1) les objectifs
• 2) les types dusages
• 3) le support réseau
• 4) les ressources de calcul stockage
• 5) les OS
• 6) Choix (ou non choix) du middleware

7
Objectifs dune griile

• Quelle  machine  et quel  OS  pour résoudre
  quel problème ?
• Pour réutiliser du CPU?
• Construire un gros calculateur?
• Quel est le besoin à couvrir au plan applicatif?

8
Choix du réseau de grille

• Le nuage reseau permet linterconnexion des
  ressources distribuées
• Mais introduit des problématiques de
• Sécurité
• Performance
• Hétérogénéïté
• Le réseau dinterconnexion est
• Internet (présente simultanément tous les
  problèmes)
• un réseau privé virtuel (offre une solution de
  sécurité )
• un réseau privé haute performance (offre une
  solution de performance)

9
Le choix des ressources

• classification des ressources de calcul (et/ou de
  stockage) selon critères de performance ou de
  sécurité.
• Hétérogénéïté des ressources de  commodité ,
  les fameux PC inutilisés pendant la nuit et le
  week-end sur nos bureaux,
• Sécurité des ressources privées (à contrôle
  daccès très limité)
• Performance des ressources très haute
  performance (typiquement des machines parallèles
  ou des grappes de PC).

10
Spécificités deToile

• 1) Choix du réseau
•  cest larrivée des réseaux gigabit qui a
  permis dimaginer la création de grilles 
• Infrastructure réseau très haut-débit
  expérimentale gt VTHD
• 2) Choix des ressources de calcul et de stockage
•  qui interconnectent les ressources non
  utilisées 
• Mises à disposition par les participants gt
  Hétérogénéïté
• 3) Choix du middleware initial
• Fonctionnalités majeures sécurité, découverte de
  ressources, allocation
• Libre et disponible gt Globus
• 4) Choix des applications et cas détude
• Défini par les participants applicatifs
• gt modèles calcul-intensifs ou données-intensifs

11
Objectifs visés

• Développer des services GRID originaux pour lever
  certaines limites des intergiciels existants et
  exploiter pleinement les capacités offertes par
  un réseau très haut-débit.
• gt Grille orientée  haute performance 
• Services réseau (INRIA/UREC)
• Développement et déploiement de services réseaux
• Exploration de la technologie  réseaux actifs 
• Services communication (INRIA)
• Utilitaires de transferts fichier/données haut
  débit
• Modèles de programmation/communication (DSM, MPI)
• Services de contrôle (CNRS-CS/SI)
• Surveillance et Optimisation performances
• Langage de spécification travaux spécifique
• Intégration de composants existants
• Evaluation par des applications

12
Les acteurs

• Compétences multiples et complémentaires
• Parallélisme et calcul haute performance
• gt INRIA PARIS et APACHE,
• gt LIP,
• gt PRISM
• Réseaux et protocoles
• gt INRIA RESO SUNlabs
• Déploiement et exploitation de plate-formes
• gt UREC
• Apport génie logiciel
• gt CS-SI
• Forte implication des groupes applications
• EDF, CEA, PRISM IBCP

13
Interactions entre partenaires

• Lot1 Plate-forme matérielle coordination CNRS
  UREC
• Contribution de tous les partenaires
• CNRS UREC Gestion et Surveillance de la grille
• INRIA RESO Outils réseaux et routeurs
  programmables
• Lot2 Prototype middleware coordination CS-SI
• CS-SI Sécurité, IHM, Système dinformations de
  contrôle
• INRIA APACHE système fichiers, PARIS DSM
• ENS- Lyon Parallélisme
• CNRS PRISM Allocation
• Applications
• EDF simulation numérique
• CEA physique hautes énergies
• CNRS IBCP génomique
• CNRS PRISM optimisation combinatoire

14
Plan de la présentation

• 1) Contexte et problématique eToile
• 2) Création et vie de la plate-forme
• 3) Aspects middleware
• 3) Réflexion sur ce qui a été fait
• 4) La suite?

15
Création de la plate-forme matérielle
Internet
Cur de réseau VTHD
16
évolutions de VTHD réalisées pour e-Toile
EDF/Clamart
PRISM
CEA/SACLAY
CERN
SUN
ENS
Nouveau routeur dorsal
Les sites e-Toile
Nouveau site VTHD
Site VTHD actuel
17
Les ressources e-Toile

• Nuds de calcul et de stockage
• Hétérogènes
• Préexistantes ou acquises dans le cadre du projet
  
• Mises à disposition par les partenaires
• en permanence, en vacation, par intermittence
• dédiées à e-Toile ou partagées avec un autre
  projet ou des utilisateurs locaux.
• Equipements et accès réseaux
• 5 accès VTHD financés  avec  le projet
• Plusieurs équipements acquis dans le cadre du
  projet
• Equipements dadministration et de développement
• WEB, CVS, passerelle

18
Tableau des ressources e-Toileraccordées sur VTHD
19
Quest-ce quon expérimente?

• 2 types de test
• Tests fonctionnels
• Tests de performance
• 2 types de besoins (au moins!)
• Test des protocoles, des services, des composants
  middleware
• Quelques ressources réparties dans les différents
  sites
• Pas de middleware stable machines brutes ou
  sous Globus
• Pas de sécurité globale comptes locaux
• Test des applications  gridifiées 
• Plate-forme stable, même middleware partout
• v1 Globus,
• v2 e-Toile

20
Plate-forme physique au 5 juin 2003
Plate-forme de production
Plate-forme de tests
noeuds actifs
21
Administration et monitoring

• la supervision
• Visualisation de la disponibilité des ressources
• Collecte de statistiques réseau
• Visualisation de létat des ressources
• lauthentification des ressources et des
  participants
• les outils de travail collaboratifs

22
SupervisionDisponibilité des ressources et des
services e-Toile Mapcenter

• Map Center, développé dans le cadre du projet IST
  Datagrid (WP7), a été adapté pour e-Toile. Cest
  un outil simple, flexible, et autonome conçu pour
  lenvironnement hétérogène des grilles.
• Map Center permet de visualiser la disponibilité
  des sites et des services .
• Différents types de visualisation sont possibles.

23
EDG MapCenter Tool

• Etat instantané de la grille accessibilité des
  sites et des services actifs
• Modèle flexible et efficace pour représenter
  logiquement les communautés, les organisations
  virtuelles (VO) ou réelles ou les applications
  tournant sur la grille.
• DataGRID, eToile, DataTAG, iVDGL, CrossGrid,
  Globus
• ccwp7.in2p3.fr/mapcenter

24
Vue géographique
25
Vue par plate-forme
26
Accès aux systèmes dinformation de la grille
27
Supervisionvisualisation de la charge des
ressources Ganglia

• Ganglia, projet Open Source Millennium de
  lUniversity of California, Berkeley
• Permet de visualiser létat des ressources
  regroupées en cluster, par cluster ou par noeud
• CPU, mémoire, espace disque, entrées-sorties...
• Dans la configuration choisie pour e-toile,
  toutes les ressources sont visualisées quelque
  soit la plate-forme (production ou exploitation)

28
authentification IGC

• Pour authentifier les utilisateurs, les services
  et les ressources sur la grille, pour le contrôle
  daccès aux informations privées du projet.
• Une véritable Infrastructure de Gestion de Clés
  pour e-Toile avec
• une autorité denregistrement,
• une autorité de certification,
• un service de publication

les fonctionnalités de lIGC enregistrement des
demandes, vérification des critères
dattribution, création des certificats,
diffusion des certificats, gestion des listes de
révocation, archivage des certificats
29
Déploiement de routeurs logiciels actifs
Cur de réseau VTHD
Routeur Actif
30
Plan de la présentation

• 1) Contexte et problématique eToile
• 2) Création et vie de la plate-forme
• 3) Aspects middleware
• 3) Réflexion sur ce qui a été fait
• 4) La suite?

31
Intergiciel eToile
Interfaces réseaux actifs
32
Intergiciel eToile

• gérer des ressources
• gérer des utilisateurs
• permettre la communication entre composants de
  la grille
• fournir un accès cohérent et sûr de
  fonctionnement aux ressources distribuées et
  partagées
• Etape1 déployer le  standard de fait  Globus
  v2.2
• gtExploiter la ressource  réseau haut débit 
  performances E2E
• gt Explorer lapport des réseaux actifs
• gt Répondre aux besoins hétérogènes des
  applications
• Etape2 remplacer composants Globus par
  composants eToile

33
Intergiciel de Globus à e-Toile

• Services noyau contrôle, sécurité et gestion de
  la grille
• Globus 2.2 GRAM, MDS, GRIS/GIIS, GSI
• E-Toile Allocateur , SIC (SGBDR), GSI
  autorisations
• Environnements et bibliothèques
• GridFTP, MPI-Globus
• NFSp, MPI madeleine, MOME

IHM, Langage de travaux
Madeleine, NFSp, Mome
Allocateur, SIC, Sécurité
Tamanoir, Dyram, QoSinus
34
Evaluation par Applications

• Diversité des applications
• CPU intensive Charm (CEA), BoB(PRISM),
  Rock(EDF)
• Evaluation de Madeleine
• Evaluation de MOME
• DATA intensive Alice (CEA) , Gripps (IBCP)
• Evaluation de NFSp et Gxfer
• Exemple Gripps (ACI) application de génomique
• Évaluée sur eToile, DataGRID et Diet (GASP)

35
Plan de la présentation

• 1) Contexte et problématique eToile
• 2) Création et vie de la plate-forme
• 3) Aspects middleware
• 3) Réflexions sur ce qui a été fait
• 4) La suite deToile?

36
Conclusion technique

• Plate-forme expérimentale initiale créée et
  exploitée
• Outils dadministration de la grille déployés
• Composants réseaux actifs déployés et en cours de
  tests
• Exploration et déploiement de Globus 2.2
• Composants e-Toile développés et testés
• En cours de déploiement
• Phase dévaluation sur v1 terminée
• Phase dévaluation sur v2 en cours.

37
Calendrier eToile

• Année 1
• Etat de lart
• Choix scientifiques et technologiques
• Mise en route de la plate-forme 1 (réseau
  Globus outils administration)
• Architecture et spécification de lintergiciel
  e-Toile
• Année 2
• Conception et développement de lintergiciel
  e-Toile
• Mise en exploitation de la plate-forme 1
• Portage applications sur plate-forme 1.
• Tests fonctionnels et performance applications
  sur plate-forme1
• Tests fonctionnels et performance composants
  intergiciel e-Toile
• Intégration et déploiement de la plate-forme 2
• Tests fonctionnels et performance applications
  sur plate-forme 2

38
Conclusion générale

• Plan national
• eToile a permis dinitier une importante
  réflexion scientifique et technique sur la
  problématique des plate-formes et du middleware
  de grille
• Accumulation de connaissance et de compétences
• Fédération des acteurs français
• Valorisation, dissémination (en cours)
• Distribution du logiciel en Open-Source à la
  communauté scientifique possible

39
Conclusion générale

• Plan international
• Compétition internationale importante et
  positionnement par rapport à Globus difficile.
• Interconnexion avec les grilles internationales,
  mais quid de linteropérabilité?
• Participation au GRID forum et à lélaboration
  des standards http//www.gridforum.org
• Data Transport RG transport alternatif, NFSp
• Valorisation, dissémination

40
Open issues

• Ouverture de la plate-forme à dautres acteurs
• Pérennité de la plate-forme
• Usage de la plate-forme
• Tests FP bas niveau (réseau composants
  autonomes)
• Tests FP sur middleware
• Tests FP applications
• Utilisation continue
• mobilisation de ressources humaines réparties
• Stabilité des ressources
• qui dans chaque site? difficile
• ou outil de démo? Savère efficace (revue EDG,
  démo eToile)

41
Plan de la présentation

• 1) Contexte et problématique eToile
• 2) Création et vie de la plate-forme
• 3) Aspects middleware
• 3) Réflexions sur ce qui a été fait
• 4) La suite deToile?

42
La suite?

• Projet RNTL eToile2 gt eGuilde en cours de
  montage
• -gt arrivée de nouveaux acteurs rôle fédérateur
• Du monde académique (RNTL GASP et CASP)
• De la communauté ObjectWEB (INRIA OASIS)
• De la communauté industrielle (GridExpert,FTRD,CG
  S)
• Se pose la question de louverture gt Renater
  VTHD?
• Consolidation de lapproche eToile
• Multi-domaines,
• Ordonnancement hétérogène
• Approche composants et OGSA
• Aspect évaluation par application
• Modèle économique

43

•  
•  
•  Proposition au RNTL
• réponse à l'appel d'offres du 18 juin 2003
• de plate-forme pré-compétitive d'
•  
• expérimentation sur Grilles de leurs Usages, de
  leur Interopérabilité, des Logiciels et du
  Déploiement d'Environnements applicatifs
• e-Guilde
• (e-Toile2 et CASP2)

44
GRID5000

• Principaux choix à faire
• 1) les objectifs
• 2) les types dusages/ types dexpérimentations
• 3) le support réseau
• 4) les ressources de calcul stockage
• 5) les OS
• 6) Choix (ou non choix) du middleware
• 7) Règles, procédures, outils dadministration,
  gestion
• Lever des verrous scientifiques relatifs au
  facteur déchelle, à la robustesse, à la
  sécurité, à la performance et à la flexibilité
• Un réseau expérimental permettrait plus aisément
  le test de nombreux services avancés (Ipv6,
  Multicast, DiffServ, MPLS, G-MPLS, xGb/s) et de
  collaborer avec la communauté réseaux.
• Pascale Vicat-Blanc  Réflexions pour une
  stratégie française dans le domaine des
  plate-formes expérimentales de grille  white
  paper . Mai 03