SplitStream : diffusion de contenu

1
SplitStream diffusion de contenu à fort besoin
en bande passante

• Anne-Marie Kermarrec (INRIA-Rennes, IRISA)
• En collaboration avec M. Castro, A. Rowstron (MSR
  Cambridge) P.Druschel, A. Nandi et A. Singh (Rice
  University)

2
SplitStream

• Distribution de contenu à fort besoin en
  bande-passante
• Distribution de fichiers
• Mises à jour de logiciel
• Diffusion de contenu multimédia
• Environnement coopératif
• Système pair-à-pair (P2P)
• Partage de ressources
• Auto organisation
• Pas délément de centralisation

3
Protocole de diffusion applicatif
4
Protocole de diffusion applicatif

• Protocoles à base darbre
• Déséquilibre de charge la majorité des nœuds
  sont des feuilles
• Défaillance des nœuds internes de larbre
• Protocole épidémique
• Redondance par défaut
• Engendre un lourd trafic sur le réseau
• Inconvénients exacerbés par la nature des
  contenus diffusés
• Équité
• Charge réseau

5
Lapproche SplitStream

• Contenu divisé en flots (stripes) et
  distribué sur de multiples arbres de diffusion
  indépendants
• Équité
• Nœuds internes dans un arbre sont des feuilles
  dans les autres
• Disponibilité
• Défaillance dun nœud entraîne seulement une
  perte de qualité (parents indépendants)
• Flexibilité
• Saccommode de bande passante diverses

6
Construction dun arbre de diffusion
A
C
D
B
E
F
G
7
Construction dun arbre de diffusion
A
C
D
B
E
F
G
8
Arbre de diffusion unique équité
A
OUT 2n kb/sec
C
D
IN n kb/sec
B
E
F
G
9
La forêt SplitStream
A
C
D
B
E
F
G
10
La forêt SplitStream
A
C
D
B
E
F
G
11
La forêt SplitStream
A
C
D
B
E
F
G
12
La forêt SplitStream
N kb/sec
A
C
D
N/2 kb/sec
N/2 kb/sec
B
E
D
A
F
G
E
G
B
C
B
A
F
C
F
G
D
E
13
La forêt SplitStream
N kb/sec
A
C
D
N/2 kb/sec
N/2 kb/sec
B
E
D
A
F
G
E
G
B
C
B
A
F
C
F
G
D
E
14
Lapproche SplitStream

• Difficulté majeure construire et assurer la
  maintenance des multipels arbres de diffusion de
  manière décentralisée, fiable et extensible
  (passage à léchelle) afin que
• Chaque client reçoive le nombre désiré de flots
  de données
• Arbres indépendants
• Contrôle de lallocation de bande passante
• Délais et charge imposées au réseau raisonnables
• Utilisation de Scribe/Pastry
• Pastry infrastructure de routage structurée,
  efficace, fiable
• Scribe protocole de diffusion à base darbre,
  décentralisé et efficace

15
Pastry rappel
O
2128-1

• Rowstron-Druschel 2001
• DHT Functionality
• 128 bit circular id space
• nodeIds (uniform random)
• objIds (uniform random)
• Invariant node with numerically closest nodeId
  is objects root

objId
nodeIds
16
Localité dans Pastry
d467c4
Leaf set
d471f1
Proximity space IP1.6
d467c4
d462ba
d46a1c
d4213f
Route(d46a1c)
d13da3
d4213f
65a1fc
65a1fc
d462ba
d13da3
Name space
17
Scribe rappel

• Create route vers groupId
• Join route vers groupId
• Arbre union des routes Pastry des membres du
  groupe à la racine
• Diffusion
• Charge raisonnable imposée sur le réseau
• Délai raisonnable

Racine
join( groupId)
groupId
Multicast (groupId)
join( groupId)
18
Scribe
d467c4 root
d471f1
d467c4 root
26b20d
Proximity space
d13da3
65a1fc
65a1fc
d13da3
Name space
26b20d
19
SplitStream

• Construction dun arbre/ groupe Scribe pour
  chaque flot de données
• Chaque identificateur de flot commence par un
  digit différent (indépendance jusquà 16 flots)

0x
1x
fx
..
20
SplitStream gestion de la forêt

• Contraintes
• Degré sortant limité augmente potentiellement la
  profondeur des arbre
• Besoin déquilibrer la charge entre les arbre et
  à lintérieur des arbres
• Conserver lindépendance face aux défaillances.
• Solution
• Nœuds en sous charge joignent un arbre de
  capacité disponible
• Nœuds en sur charge abandonnent des enfants
• Orphelins anycast à larbre de capacité
  disponible pour trouver de nouveaux parents

21
Expériences

• Simulations
• Topologies GT, Mercator, MS Corp.
• 40000 noeuds
• Pastry (b4, leafset 16)
• SplitStream 16 flots
• Configurations degré entrant x degré sortant
• Impact de la capacité disponible 16x16, 16x18,
  16x32 et 16xNB
• Impact de capacités/besoins variés (Gnutella)
• Expérimentations
• Construction de la forêt
• Performance de la diffusion

22
Construction de la forêt charge des noeuds
23
Construction de la forêt charge des noeuds
Configuration 16x16 16x18 16x32 16xNB
Max 5893 4285 2876 5058
Mean 74 65 43 21
Med 52 48 30 17
24
Diffusion charge réseau
Configuration Centralisé (0.43) Scribe (0.47) IP (0.43) 16x16 (0.98) 16x18 16x32 16xNB
Max 639984 3990 16 1411 1124 886 1616
Mean 128.9 39.6 16 20 19 19 20
Med 16 16 16 16 16 16 16
25
Pénalité de délai lors de la diffusion
16
14
12
10
Cumulative stripes
8
6
4
2
0
0
0,5
1
1,5
2
2,5
Delay penalty
26
Diversité des chemins
Nombre de flots perdus (au plus) a chaque noeud
en cas de défaillance dun noeud
Configuration 16x16 16x32 16xNB
Max 6.8 6.6 1
Mean 2.1 1.7 1
Med 2 2 1
27
Nombre de flots reçus (Trace Gnutella, 10000
nœuds)
28
Défaillance catastrophique (25 de nœuds
défaillants) nombre de flots reçus (10, 000)
29
Défaillance catastrophique (25 de nœuds
défaillants) nombre de messages (10000 noeuds)
30
Conclusion

• SplitStream permet deffectuer de la distribution
  de contenus à fort besoin en bande passante de
  manière équitable et robuste
• Forêt darbres indépendants au lieu dun arbre
  unique
• Gestion extensible et décentralisée reposant sur
  Pastry et Scribe
• Bonnes propriétés de fiabilités en environnement
  dynamique