Bilan GDS

1
Bilan GDS

• Regal (LIP6 / INRIA)

2
Objectifs scientifiques

• Tolérance aux fautes à large échelle
• 2 axes
• Détection de fautes sur Grille
• Réplication sur systèmes pair-à-pair
• Algorithmes de verrouillage pour Grilles
• Exclusion mutuelle hiérarchique
• Exclusion mutuelle tolérantes aux fautes

3
Personnes impliquées

• Sur la période
• 1 prof (30 ), 1 MDC (30), 3 doctorants (2 30
  , 1 à 100 )
• 1 bourse FullBright (D. Myers)
• Détection de fautes
• Marin Bertier (2003 2004) Doctorant
  (actuellement MDC Insa Rennes)
• Pierre Sens Prof. Paris 6
• Réplication P2P
• Fabio Picconi Doctorant
• Pierre Sens
• Exclusion mutuelle
• Luciana Arantes - MDC Paris 6
• Julien Sopena (2004 2006) Doctorant
• Pierre Sens

4
Tolérance aux fautes organisation hiérarchique

• Composition du groupe global
• Représentant dans chaque groupe local
  mandataire
• Nomination de mandataire

• 1 groupe local / cluster
• 1 groupe global

1.3
C2
C3
C1
2.2
2.1
1.1
3.1
1.2
3.3
3.2
Organisationhiérarchique
5
Rôle du mandataire

• Permet la connexion du groupe local avec le reste
  du système
• Détecteur local surveillance de nœud
• Détecteur global surveillance de groupe

cluster 2
2.1
1.1
Mandataire
1.5
1.2
1.2
cluster 1
3.5
1.4
1.3
cluster 3
Organisationhiérarchique
6
GDF dans GDS

• Utilisation de GDF dans Juxmem
• Travail commun (M. Bertier, S. Monnet)
• Rapport

7
Réplication P2P

• Etude de la réplication dynamique dans Pastis

8
Problème de la volatilité

•  Churn  taux élevé dajout de nœuds et de
  défaillances
• Le churn une des causes des dénis de services
  dans P2P (issue de sources non forcément
  malicieuses).
• Nombreuses études sur la résistances aux churns
  des overlay (cf. Bambou, MSPastry ).
• gt Relative bonne résistance (quelques minutes)
  de couche basses (KBR)
• Quid des applications
• Stockage des données
• Objectif Etudier le churn dans Past et Pastis

9
Churn in DHTs
must fetch copy from another replica
new replica set for key k
low-bandwith transfer
k
10
Churn in DHTs
data may be lost under high churn
k
11
Churn in DHTs
new replica set
new node joins
replica must be moved
k
12
Churn in DHTs
new replica set for key k
data may be unavailable under high churn
k
13
Contributions

• Théorique modélisation du  churn 
• Caractériser la durabilité des données en
  fonction du taux de volatilité
• Ecriture dun papier
• Algorithmique Modification du protocole de Join
  de Pastry
• Métrique de stabilité utilisé pour linsertation
  des noeuds
• Expérimentation Injection de volatilité dans
  Pastis
• Utilisation de lémulateur modelnet dans GDX
• Rapport technique Soumission CCGrid07

14
Exclusion mutuelle pour Grille

• Exclusion mutuelle outils de base de
  synchronisation dapplication parallèle
• Algorithmes à Jeton
• Un jeton unique donne laccès à la ressource
• Pas de synchronisation globale
• Plus extensible
• Algoirhmes classique
• Ne prennent pas en compte la topologie gt
  beaucoup déchange entre les sites
• Peu tolérant aux fautes
• Approches hiérachiques (CCGrid 04, JPDC 06)
• Idée Donner une priorité plus forte au requêtes
  proches
• gt Satifaire prioritaire les requêtes dun même
  cluster
• Mutex tolérant les fautes (Europar 05, SRDS 06,
  CFSE 06)
• Fiabilisation de lalgorithme de Naimi-Tréhel
• Thèse J. Sopena

15
Performances
16
Publications Regal - GDS

• GFD
• M. Bertier, O. Marin, P. Sens. Performance
  Analysis of Hierarchical Failure Detector.
  Proceedings of the International Conference on
  Dependable Systems and Networks (DSN '03), San
  Francisco, Juin, 2003 (IEEE Computer Press)
• Pastis
• J-M Busca, M. Bertier, F. Belkouch, P. Sens, L.
  Arantes. A Performance Evaluation of a
  Quorum-Based State-Machine Replication Algorithm
  for Computing Grids.. Proc of the 16th Symposium
  on Computer Architecture and High Performance
  Computing (SBAC-PAD '04), Iguacu (Brazil),
  October 2004. IEEE Society Press
• J-M. Busca, F. Picconi, P. Sens.Pastis un
  système de fichiers pair à pair multi-écrivain
  passant l'échelle. In DistRibUtIon de Données à
  grande Echelle 2004 (DRUIDE 04), Domaine du
  Port-aux-Rocs, Le Croisic, France
• F. Picconi, J-M. Busca, P. Sens. Exploiting
  network locality in a decentralized readwrite
  peer-to-peer file systems. Proc of the 10th
  International Conference on Parallel and
  Distributed Systems (ICPADS '04), Newport Beach
  (USA), July 2004. IEEE Society Press
• J-M. Busca, F. Picconi, P. Sens.Pastis a
  Highly-Scalable Multi-User Peer-to-Peer File
  System. EuroPar 2005, Lisboa, Portugal, September
  2005. LNCS.
• Mutex
• M. Bertier, L. Arantes and P. Sens. Hierarchical
  token based mutual exclusion algorithmsi.
  Proceedings of the 4th IEEE/ACM International
  Symposium on Cluster Computing and the Grid
  (CCGrid '04), Chicago (USA), April 2004. IEEE
  Society Press
• M. Bertier, L. Arantes, P. Sens. Algorithme
  d'exclusion mutuelle pour les GRID une approche
  hiérarchique. 4ème Conférence Française sur les
  Systèmes d'Exploitation (CFSE'4), Le Croisic,
  France.
• J. Sopena, L. Arantes, M. Bertier, P. Sens.A
  fault-tolerant token-based mutual exclusion
  algorithm using a dynamic tree. EuroPar 2005,
  Lisboa, Portugal, September 2005. LNCS.
• M. Bertier, L. Arantes, P. Sens.Distributed
  Mutual Exclusion Algorithms for Grid
  Applications a Hierarchical Approach. Journal of
  Parallel and Distributed Computing (JPDC)
  66(128-144). Elsevier, 2006.
• J. Sopena, L. Arantes, P. Sens.Performance
  evaluation of a fair fault-tolerant mutual
  exclusion algorithm. To appear in IEEE
  International Symposium on Reliable Distributed
  Systems (SRDS 2006), Leeds, UK
• J. Sopena, L. Arantes, P. Sens.Un algorithme
  équitable d'exclusion mutuelle tolérant les
  fautes. To appear in 5ème Conférence Française
  sur les Systèmes d'Exploitation (CFSE'5), France
• 1 revue internationale (JPDC)
• 8 conférences internationales (DSN, SRDS, CCGrid,
  EuroPar, HotOS )
• 3 conférences nationales

17
Logiciels et mobilité

• GFD
• Pastis
• Visite de F. Picconi à Rice (1 semaine 2005),
  Rutgers (2 mois - 2006)

18
La suite ...

• ACI Gédéon
• Application à la génomique
• Verrouillage hiérarchique / Modèle de cohérence
  dans un système de fichiers
• Mutex
• Généralisation du Mutex Allocation de
  ressources (Thèse M. Bouillaguet)
• Composition de protocoles Mutex (J. Sopena)
• Tolérance aux fautes
• Autres types denvironnements (Capteurs)