L

1
Linformatique à D0

• D0 à FNAL
• Données du Run II
• Infrastructure matérielle
• Stockage/Accès aux données
• Infrastructure logicielle
• Logiciels danalyse
• Monte Carlo à D0

• D0 à Lyon
• Installation software D0
• HPSS et stockage des données
• BBFTP/transfert des données
• Station SAM à Lyon
• Les données D0 et le CCIN2P3

2
Les données du Run II
D0 au Run II (1 Avril 2001 !) 600 Millions
dévénements par an

• Taux moyen dacquisition 20 Hz
• Taille moyenne dun événement
• RAW 250 Kb
• Reconstruit 125 Kb
• DST 84
  Kb
• mDST 10 Kb
• Bases de données (Oracle) quelques centaines
  de Gb

HORS Monte Carlo ( 150 Tb/an ) ( 75
Tb/an ) ( 50 Tb/an ) ( 6 Tb/an )
300 Tb/an
Stockage disque mDST staging temporaire lots
analyses 7 Tb/an Stockage K7 RAW (hors
robot) reconstruction DST 300 Tb/an
3
Infrastructure matérielle

• PC-Linux
• Desktops-clusters
• Building du soft D0/Linux
• ferme de reconstruction
• Serveur danalyse

• SGI-IRIX Origin 2000
• 128 processeurs 21 Tb 64 Gb
• Disques données, SAM cache
• Jobs batch (LSF) et interactif
• 4 processeurs
• Serveur des users home

• PC-NT-2000
• Desktop
• Serveurs NT
• Building du soft D0/NT
• ferme de reconstruction online

• SUN 3500-4500
• Serveurs Oracle (on/offline)

4
Stockage/Accès aux données

• SAM (Sequential Access Model)
• Système Client-serveur
• Dialogue avec data base Oracle et système de
  stockage
• Tourne sur différents hosts (SGI, Linux)
  regroupés en stations logiques

• ENSTORE
• Gestion de la robotique/bandes
• Robot type ADIC AML/2
• Cluster Linux
• 4 bi-pro Config, log,pnfs,alarm
• 14 bi-pro movers (28 drives)

5
Infrastructure logicielle

• Produits Les logiciels sont groupés en
  produits (FNAL ou D0)
• UPS/UPD (méthodologie) Les produits (versions,
  dependances,etc..) sont gérés par
• UPS (Unix Product Support) Gestion base de
  données des produits locaux
• UPD (Unix Product Distribution) Interrogation
  base de données/Installation des softs à partir
  des serveurs de soft à FNAL
• CVS Le soft est organisé en packages  gérés
  par  cvs 
• Compilation KAI C pour Unix et VC pour NT
• SRT(2) (SRT Software Release Tools - BaBar)
• Controle de la Compilation et du link
• Ensemble de makefiles donnant accès dune façon
  transparente aux différentes librairies
  (CTEST/CTBUILD - D0)
• Releases
• Ensemble de tous les  packages  de D0 avec un
  certain  tag 
• Il y a une release  test  par semaine
  (txx.yy.zz) et quelques releases de
   pro duction (pxx.yy.zz) par an. ( Linux FRH
  6.1, IRIX 6.5 et Windows NT)
• Sécurité Authentification Kerberos ( ssh,
  scp,  telnet-ftp cryptocard ). Pas de AFS !

6
Logiciels danalyse à D0

• Le framework Cadre logiciel de générations,
  reconstructions et analyses (C)
• Z0OM Librairies des classes C de FNAL
• D0OM Interface pour la persistence des objets
  de D0.
• Découplage du produit de I/O
• DSPACK ( NA49 Structures C)
• EVPACK DSPACK amélioré par D0 (C).
• Accès direct et compression des données
• MSQL
• Oracle
• ROOT Outil danalyse
• OpenInventor Graphique et visualisation des
  événements

7
Production Monte Carlo

• Programme de simulation (D0gstar) basé sur GEANT
  3.21  wrappé  dans C
• En moyenne 1.5 Mb par événement 6 minutes de
  CPU sur une SGI R12000
• D0 Essentiel de la simulation en dehors de
  FNAL Lyon, NIKHEF, Prague

• Une fois la simulation faite, retour à FNAL et
  stockage dans SAMENSTORE

• Reconstruction des événements dans les fermes
  de bi-processeurs Linux
• Pentium III
• de 500 à de 750 MHz
• 512 Mb
• 40 Gb
• Processing 5 à 10 s/event

• Besoins estimés à une centaine de millions
  dévénements par an

8
D0 à Lyon Installation software

• Le centre de calcul de lIN2P3 est site officiel
  de production Monte Carlo
• D0 a poussé le CCIN2P3 à introduire la
  plateforme Linux
• (Le code de D0 ne tourne pas sur AIX/HP)
• Le software nécessaire à la production Monte
  Carlo y est installé
• Linstallation de  releases  complètes était
  difficile
• Paths AFS UPS trop long, demande modif dans
  tcsh !
• Manque de path officiels abinaires
  inutilisables, recompilation obligatoire !
• Une release a une taille moyenne de 3-4 Gb. 2 Gb
  de partition (AFS) est une contrainte
• Récement Introduction dun PC-Linux  ccd0 
  sur lequel une installation automatique de
  release peut se faire
• Création de liens /D0 et /d0dist pointant sur la
  partition AFS contenant le software D0

9
HPSS et stockage de données

• Le centre de calcul de lIN2P3 utilise HPSS
  comme moyen de stockage massif
• D0 utilise intensément HPSS depuis Décembre
  2000
• Les données en format DSPACK sont lues/écrites
  sans aucun problème sur HPSS
• Problèmes rencontrés avec le format EVPACK.
  Résolus en introduisant linterface  RFSTREAM 
  qui permet de lire les fichiers directement dans
  HPSS (encore quelques problèmes aux links entre
  le soft D0 et  rfstream )
• Chiffres de stockage D0 dans HPSS
• 2 Tb de Monte Carlo déjà stockés

10
BBFTP/transfert de données

• D0 utilise BBFTP pour le transfert des données
  depuis/vers le CCIN2P3
• BBFTP
• Outil crée au centre de calcul pour BABAR
  (objectivity)
• Amélioré pour D0 (sécurité, encryption 
   ssh ,etc )
• Il y a plus de un an BBFTP tournait à partir de
   xstage 
• BBFTP amélioré avec une interface  RFIO  et
  donc peut aller chercher les données directement
  dans HPSS
• Fermilab utilise la version 1.9.4 incluant
  lauthentification Kerberos
• La vitesse moyenne de transfert est de 17 Mbit/s
  (2 fichiers à la fois)
• (BBFTP configuré avec 5 streams, valeur optimale
  pour HPSS)
• Lyon a CERN
  155 Mbit/s
• CERN a STARTAP (Chicago) 155
  Mbit/s
• STARTAP a FNAL
  20 Mbit/s

11
Station SAM à Lyon

• Les données de la production Monte Carlo au
  CCIN2P3 sont stockées dans HPSS
• SAM fait lexport (limport) des ces données
  vers (de) Fermilab
• En 2001 La station SAM du centre de calcul
  est installée
• La station tourne depuis quelques semaines
• Récement les routines de SAM ont été adaptées
  pour BBFTP
• La station SAM_BBFTP marche très bien dans le
  sens Lyon a FNAL
• Pour limport (FNAL a Lyon)
• SAM utilise un disque cache de plus de 1 Tb
• Solution impossible au ccin2p3 !
• Contourner ce problème en faisant que lespace
  HPSS soit vu comme disque local (RFIO)
• Problème D0 nutilise pas RFIO
• Solution Passer par un disque cache au
  ccin2p3 ?
• (Seuls les utilisateurs autorisés peuvent faire
  du déclare/store dans SAM)

12
Les données D0 et le CCIN2P3

• Sachant que D0 produit
• 50 Tb par an de données en format DST
• 6 Tb par an de données en format mDST (TMB)
• Le transfert se fera par réseau (bbftp)
• mDST Les analyses de D0-France dans SUSY et
  TOP 2 à 4 Tb
• DST Reconstruction sur site a besoin de
  copie de base de données

13
Léquipe D0 du CCIN2P3

• D0-France
• A. Balandras Scripts de production Monte Carlo
• L. Duflot Installation software
• M. Jaffré Insallation software ( Monte Carlo
  ), BBFTP
• E. Lebreton HPSS, BBFTP
• P. Lebrun HPSS, SAM et SAM_BBFTP
• Centre de calcul
• G. Farache BBFTP
• F. Hernandez HPSS