Grid Computing van onderzoek naar onderzoeksfaciliteit

1
Grid Computingvan onderzoek naar
onderzoeksfaciliteit

• David Groep
• NIKHEF

2
ICT Grid

• Drie eigenschappen van een grid
• De bouw van een grid faciliteit
• software
• hardware
• peopleware

applicaties
infrastructuur
informaticaonderzoek
3
Connecting Resources
Basis voor Resource Sharing
Scientific instruments and experiments provide
huge amounts of data
Federico.Carminati_at_cern.ch
4
De belangrijkste kenmerken op een rij

• Een grid is meer dan een clustercomputer
• Het Grid brengt resources bij elkaar, die
• niet door één organisatie worden beheerd
• wel een gemeenschappelijk, open protocol spreken
  dat algemeen bruikbaar is
• voor de gebruiker één transparant, samenwerkend
  geheel vormen

5
Organisatie in grids
6
De Virtuele Organisatie

• Gebruikers en providers vormen tijdelijk samen
  één gemeenschap
• Gebruikers nemen vaak deel als individu
• De provider kent niet van tevoren alle
  gebruikerstrusted third parties zorgen voor
  identificatie
• Virtuele organisaties zullen overlappen

7
Standaardisatie

• beperkt aantal standaard protocollen (web
  services)
• algemeen bruikbaar voor verschillende
  applicaties
• samenhangOpen Grid Services Architecture
  (OGSA)

8
Standaard protocollen
GridFTP server
Grid Security Infrastructure
GSI Security
Client/App SW
tape robotDMFCXFS
Metadata Catalogue
Security Infrastructure
disk-basedstorage

• GSI in common
• common authentication
• multiple implemen-tations, same interface
• one information systemper VO / infrastructure

RLS
CASTOR
Job
InfoSys
9
Collectieve services

• Eén uniform systeem
• single sign-on
• resource brokering
• foutbestendigheid
• self-healing
• redundancy

grid
10
Op weg naar een faciliteit

• Integratie van infrastructuur en ICT onderzoek
• authenticatie/autorisatie
• gemeenschapsvorming
• beveiliging, indicent handling, operaties
• infrastructuur bouw en beheer
• integratie, stabiliteit, quality of service en
  installatie
• resources en hardware
• disseminatie ondersteuning voor gebruikers
  én beheerders

11
Authenticatie en autorisatie

• Schaalbare Public Key Infrastructure (paspoort)
• identiteits providers los van de virtuele
  organisatie
• wereldwijd coördinatie nodig!
• Virtuele Organisaties (visa)
• gemeenschappelijke gebruikvoorwaarden
• interne organisatiestructuur en rechten
• los van instituten en van de resource aanbieders
• VO organiseert rechten van zijn leden, zonder
  tussenkomst van resource aanbieders
• Resources policies (marechaussee)
• systeemeigenaar heeft altijd het laatste woord
• accounting maakt gebruik inzichtelijk en
  berekenbaar

12
Infrastructuur integratie

• Integratie van software
• veel van de tools en concepten zijn er al
  alleen nog maar integreren
• maar alleen met implementatie, uitrol testen
  vindt je de zwakheden
• Aandacht voor specifieke grid eigenschappen
• policy-constraint gedistribueerde computing
• verhoogde dynamiek in het systeem
• fault tolerance eisen
• En daadwerkelijk installeren
• Software engineering verbeteren
• VL-e Proof-of-Concept Installer
• Grid cluster tools (quattor)

P4 Scaling Validation Programme
13
Infrastructuur hardware resources

• Een leeg grid heeft weinig nut
• complexe faciliteiten worden wel beter
  toegankelijk
• maar grid is geen vervanging voor hardware
  aanschaf
• wel schaalvoordelen efficienter gebruik
• Gegridificeerde resources, b.v.
• NCF NL-Grid project clusters opslag
• SARA Matrix cluster storage
• NIKHEF Data Processing Facility
• AMOLF MassStore
• in toekomst Nationaal Cluster LISA_at_SARA
• bereikbaar via SURFnet

14
Gebruikers!

• Betrokkenheid is essentieel voor succes
• brug tussen grid en gebruikers nodig
• hands-on training support
• pilots met nieuwe technologie
• intensieve samenwerking met applicaties
• voor gebruikers interessante resources
• grid gebruikers in VL-e en NL-Grid nu
  aard-observatie, radioastronomie, medical
  imaging, 3D-elektronenmicroscopie, (astro-)
  deeltjesfysica, informaticaonderzoekers,
  massaspectroscopie
• maar dit kan/moet veel verder groeien
• Alleen gebruikers maken grid tot een succes!

P4