Installation des machines

1
Projet grappe 200 PC
Philippe Augerat
Laboratoire ID
2
Statut du projet

• Appel doffre infructueux
• Pentium 4
• Athapascan
• Partenariats

3
Applications

• Philosophie partenariats scientifiques,
  validation dAthapascan
• Applications nouvelles
• Cartographie
• Génomique
• Imagerie
• Optimisation combinatoire
• Travail sur les méthodes

4
Environnements hétérogènes

• Nouvelles plateformes
• Architectures de grilles
• Global computing
• Couplage de code
• Algorithmique
• Ordonnancement hétérogène et hiérarchique
• Ordonnancement inter/intra applications

5
I-cluster

• Centre de calcul dédié à lexpérimentation
• 225 PC  entrée de gamme  sur réseau standard
• Utilisation intensive dont une cinquantaine
  dutilisateurs en dehors dID

6
Outils dexploitation dune grappe de grande
taille

• Mettre en place des architectures de calcul et de
  services basées sur des centaines (milliers) de
  PC
• Voir (accéder, administrer, programmer) ces
  machines comme sil sagissait dune seule

7
Ka

• Besoin de passage à léchelle des outils
  dexploitation
• installation de système dexploitation
• copie de fichiers
• lancement de commandes parallèles
• systèmes de fichiers
• outils de monitoring
• etc

8
Opérations collectives sur un grand nombre de
machines

• Usages
• Gestion des processus et E/S (lancement de
  programmes ou commandes parallèles, réseau de
  contrôle dans un environnement de programmation
  parallèle ou de monitoring)
• Déplacement des données (fichiers, opération
  collectives dans MPI, installation de lOS)
• Etc
• Techniques multicast, arbres couvrants

9
Topologies de communications

• séquentiel

arbre binomial

• multicast fiabilisation (?)

• chaîne

• arbre binaire

10
Gestion de processus Ka-run (Cyrille Martin)

• But Lancement rapide de processus sur un grand
  nombre de nœuds.
• Contraintes
• Utilisation des daemons standards (rshd)
• Récupération de signaux, entrées/sorties
• Utilisation du canal de communication crée entre
  les processus pour diffuser des données

11
Optimisation du lancement

• Une étape un appel d'exécution distante
• Déroulement d'une étape dans le temps

authentification
Demande de connexion
Création ou échec de connexion

• il faut minimiser le nombre d'étapes
• arbre binomial
• faire plus en une étape
• parallélisation d'un appel d'exécution distante

12
Exemples
Temps
arbre
séquentiel
pipeline
13
Plate-forme dévaluation I-cluster
225 HP e-PC PIII 733 Mhz Top500 82 Gigaflops
(385ème)
14
Lancement
15
Diffusion
16
Installation de système dexploitation en chaîne
Ka-deploy (Simon Derr)

• Données quelques Gigaoctets
• Importance de la bande passante
• Solution en deux étapes
• formation dun chaîne de machines
• copie des données en pipeline

17
Serveur
Contrôle
Données
Client 1
Client 2
Client 3
Serveur
Disque

• Les machines que lon installe demandent à la
  machine source (le serveur) ladresse IP de la
  fin de la chaîne de diffusion et s y connectent
• Chacun des clients lit les données en provenance
  de la chaîne, les écrit sur son disque et les
  envoie au reste de la chaîne

Client 1
Client 2
Client 3
Disque
Disque
Disque
18
Performances

• Pipeline débit 10Mo/s (en théorie débit
  optimal). Linstallation de 200 machines prends
  une vingtaine de minutes.
• Multicast 4 Mo/s vers 100 nœuds, semble se
  dégrader ensuite
• Arbre binomial Un peu plus lent pour le nombre
  de machines concerné (6 à 8 étapes nécessaires)

19
Difficultés

• Modélisation complexe
• Sensibilité à la topologie du réseau et à
  lopération à réaliser
• Synchronisation dans un environnement hétérogène
  (réseau, cpu, disque)
• Tolérance aux pannes
• Ingénierie des OS

20
Conclusion et perspectives

• Déploiement très souple dune grappe (reboot,
  upgrade, passage en Windows 2000) ou dun
  Intranet
• Des commandes parallèles performantes
• Exploitation dun intranet
• Déploiement dans un environnement grille
• Utilisation dans un environnement de
  programmation parallèle
• Intégration à une distribution Linux Mandrake
  pour cluster

21
Perspectives grappe 200

• Plate-formes et outils dexploitation
• Installation premier trimestre 2001
• Grille de grappes opérationnelle
• I-cluster infrastructure de services sur un
  Intranet dentreprise
• Applications
• Visualisation
•  Valorisation  du logiciel Athapascan dans le
  cadre des projets CLIC et Microsoft