Tolrance aux dfaillances dans une grille de calcul GnoGRID

1
Tolérance aux défaillances dans une grille de
calcul - GénoGRID

• Julien Pley
• IRISA - Équipe ADEPT
• M. Hurfin, D. Lavenier, J.-P. Le Narzul, P.
  Raïpin

2
Plan de la présentation

• Contexte de la grille
• Objectifs
• Solution proposée PARADIS
• Architecture de PARADIS
• Tolérance aux fautes
• Équilibrage de charges
• Conception des Applications
• Protocole
• Perspectives

3
Contexte de la grille

• Plusieurs ressources réparties entre différents
  centres de recherches connectés par Internet
• Contexte asynchrone
• Défaillances (pannes, déconnexion)

4
Objectifs

• Masquer les évolutions de la grille à
  lutilisateur
• Réallocation des tâches en cas de défaillance
• Ajout/retrait dynamique de machines ou de centres
  de calcul sur la grille
• Grille dédiée aux applications de la génomique
  (calculs répétitifs)

5
PARADIS Architecture

• Sous-réseaux synchrones dans un réseau
  globalement asynchrone  îles synchrones dans
  un océan asynchrone 

6
PARADIS Architecture - Domaines

• 1 représentant par domaine
• n ? 0 contrôleurs par domaine
• plusieurs ressources par domaine

représentant
contrôleurs
ressources
7
PARADIS Architecture

• 1 représentant par domaine
• Chaque représentant gère son propre domaine

8
PARADIS Architecture

• 1 représentant par domaine
• Chaque représentant gère son domaine
• Seuls les représentants communiquent entre les
  domaines

9
Tolérance aux défaillances

• Besoin daccord
• Allocation de tâches mécanisme denchères
• Composition du groupe

10
EDEN

• Bibliothèque de composants daccord
• EDEN gère
• allocation de tâches (décision unanime)
• composition de la Grille (tous les participants
  partagent la même vue de la grille)

11
Équilibrage de charges

• Mécanisme denchères
• Estimation du temps nécessaire pour finir une
  tâche
• Indépendance de la stratégie
• Plusieurs stratégies peuvent être utilisées
• Obtenir le premier résultat au plus vite
• Obtenir lensemble des résultats au plus vite

12
Conception des applications

• Une tâche principale exécutée sur un représentant
  et plusieurs tâches élémentaires exécutées sur la
  Grille
• La tâche principale contrôle les tâches
  élémentaires
• Les tâches élémentaires sont indépendantes
• API utilisée par la tâche principale
• Submit(el. task)
• Wait(el. task)
• Kill(el. task)
• Chaque tâche élémentaire génère un unique fichier
  résultat

13
Exemple Comparaison Banque à Banque

• comparison (bank1,bank2)
• begin
• creation b1..b6
• ...
• t1 SUBMIT comp(b1, bank2)
• t2 SUBMIT comp(b2, bank2)
• ...
• t5 SUBMIT comp(b5, bank2)
• t6 SUBMIT comp(b6, bank2)
• WAIT(t1,...,t6)
• ...
• end

14
Exemple Protein Threading

• Threading (prot_request, model_bank)
• begin
• t1 SUBMIT filter1D(prot_request, model_bank)
• WAIT(t1)
• build(new_model_bank1)
• t2 SUBMIT filter2D(prot_request,
  new_model_bank1)
• WAIT(t2)
• build(new_model_bank2)
• for each model mi in new_model_bank2
• tmi SUBMIT threading3D(prot_request, mi)
• WAIT(tm1,...,tmk)
• return result
• end

15
PARADIS Protocole
16
PARADIS Protocole
17
PARADIS Protocole
18
PARADIS Protocole
Utilisateur récupère les résultats
Résultat final
19
Perspectives

• Intégration de nouvelles applications
• Évaluation de performances passage à léchelle
• Évaluation des différentes stratégies
  déquilibrage de charges