Proyectos

1
Proyectos Foros en GRID y e-Ciencia

• 07 Junio 2007, Valladolid
• GRID Computing _at_ CARTIF
• Jesús Marco de Lucas
• Consejo Superior de Investigaciones Científicas
• Instituto de Física de Cantabria, IFCA
• (Centro Mixto CSIC-Universidad de Cantabria)
• Santander ESPAÑA

2
Proyectos Foros quien mucho habla

• Posibilidades
• Interés de la tecnología Grid y de la e-Ciencia
• Qué se mueve por el mundo proyectos
  nacionales, europeos, etc.
• Posibilidades de nuevas iniciativas,
  colaboración, trabajo, etc.
• Experiencia propia
• CrossGrid
• Un ejemplo en detalle Interactive European Grid
• Proyectos en el 6 y 7 PM EU
• Proyectos tecnológicos (IST-ICT)
• Proyectos de Infraestructura
• Foros e-IRG, ESFRI
• EGI (European Grid Initiative)
• La Iniciativa Grid Nacional
• IrisGrid
• Red temática de e-Ciencia
• Una NGI en España

3
Por el interés

• Por qué queremos usar la tecnología Grid?
• Porque está bien financiada?
• O porque resuelve problemas y hace la vida mas
  sencilla???
• O porque resolverá problemas y hará la vida más
  sencilla??????
• Que tecnología Grid se puede usar?
• Globus2-EGEE/gLite-Globus4 (y herramientas on
  top)
• Certificados
• Quién puede/debe usar hoy la tecnología Grid?
• Mirar ejemplos en Europa
• Comunidades científicas (grandes?)
• Confundimos necesidad de Grid? vs
  clusters/supercomputers/outsourcing/servicios
• Cuál es la clave, infraestructura, middleware o
  aplicaciones???

4
Cada oveja

• Problemas resolubles en estaciones de trabajo
• Potencia creciente, hasta 8 cores y 32GB RAM es
  ya estándar
• Necesidad de gráficos potentes y muy alta
  resolución
• Uso personal o compartido por un pequeño grupo
• Problemas resolubles en un cluster pequeño
• Hasta 128 cores (16 nodos) es manejable (rack
  25U, UPS 5KVA)
• Complementado con Infiniband, MPI, sistema de
  colas (SGE, PBS)
• Problemas no abordables localmente
• Investigadores o recursos distribuidos
  geográficamente GRID
• Grandes necesidades
• High Performance supercomputadores
• Large Storage repositorios
• Considerables cómo servicio / outsourcing?

5
Quién quiera peces

• Al final de la toma de datos (septiembre de 2000)
  en el acelerador LEP del Laboratorio Europeo
  CERN, nuestro grupo buscaba el bosón de Higgs en
  el experimento DELPHI
• Una búsqueda muy difícil
• (seleccionar 10 sucesos entre 1 millón)
• Nuestra colaboración (500 físicos, 30 dedicados
  a esta búsqueda) había desarrollado técnicas
  multidimensionales basadas en redes neuronales y
  delicados tests estadísticos
• Teníamos que modelar (mediante simulación) el
  fondo esperado con una gran precisión en las
  colas de las distribuciones
• Necesitamos al menos un factor 3x de MC (o 6x
  para entrenar una red), para una selección con
  una variable unidimensional
• Y un factor 10x (20x para entrenar) en 2D
  (masadiscriminante)
• No teníamos capacidad propia para abordar esta
  simulación en un tiempo reducido ante un cambio
  de análisis o de modelo

6
A Dios rogando

• EJEMPLO RECURSOS EN EL IFCA
• Problemas resolubles en estaciones de trabajo
• Análisis finales con imágenes, plots, etc
• Estaciones 2 Xeon nvidia
• Problemas resolubles en un cluster pequeño
• Cluster de 3x 4 2 IBM Power5 con 24 GB RAM
• Cluster de 20x2 Xeon 5160/5345 Infiniband
• Problemas no abordables localmente
• LHC, Misión Planck
• Participación en EGEE-II
• Coordinación de Interactive European Grid
• High Performance nodo red supercomputación
  española RES
• Large Storage proyecto Digital Curation DELPHI
  (40 TB)
• Considerables cómo servicio / outsourcing?
• Creación de spin-off (TRV)

7
Sol en ventana

• Necesitamos el GRID de Información?
• El Norte de Castilla nos dice la predicción del
  dia
• Bueno quizás no para una región en Australia
• De hecho el World Wide Web se desarrolló en el
  CERN para compartir información entre
  científicos
• HOY no nos cabe duda de que es esencial!
• Necesitamos un Computing GRID ?
• Respuesta si puedes resolver el problema con tu
  PC, esa es probablemente la mejor forma de
  hacerlo!
• Pero hay muchos desafíos computacionales que no
  se pueden abordar sin este entorno
• Para los investigadores, una clave es la
  e-Ciencia
• (Y en otros campos, también?)

8
Los proyectos son escobas

• Para los investigadores es el cauce natural
• Cada día una investigación mas reglada
• Se necesitan recursos considerables
• Niveles
• Regional/local
• Propia institución
• Gobierno regional, transferencia de tecnología
• Nacionales (Plan Nacional de IDi 2004-2007)
• Plan Nacional TIC
• PROFIT, CENIT, etc.
• Europeos e Internacionales
• 6PM NoE, IP, STREP
• 7PM STREP, IP
• Temáticas/Actores
• Arquitectura/Middleware (Comunidad TIC)
• Aplicaciones (Comunidades de investigadores)
• Infraestructura (Instituciones)

9
Quien hace un cesto

• Research Infrastructures Projects
• AUGERACCESS - RI026457
• BalticGrid - RI026715
• BELIEF - RI026500
• BIOINFOGRID - RI026808
• Cyclops RI031874
• DEISA - RI508830
• eDEISA RI031513
• EELA - RI026409
• EGEE - RI508833
• EGEE-II RI31688
• e-IRGSP - RI026756
• ETICS - RI026753
• EUChinaGRID - RI026634
• EU-IndiaGRID RI031834
• EUMEDGRID - RI026024
• EuroVo-DCA RI031675
• EXPReS - RI026642
• GN2 - RI511082

• IST Projects
• CHEMOMENTUM IST033437
• 6DISS - IST015926
• DEGREE - IST034619
• DILIGENT - IST004260
• DRIVER IST034047
• EC-GIN IST045256
• EuroLabs - IST511410
• GRIDCC - IST511382
• KnowARC IST032691
• LOBSTER - IST004336
• MUPBED - IST511780
• PHOSPHORUS IST034115
• QosCosGrid IST033883
• SEEFIRE - IST015817
• SIMDAT IST511438
• WEIRD - IST034622

10
What does this man do here?
El hábito
El
11
Qué tendrá mi hijo de feo

• Problema Crisis por inundaciones en Eslovaquia
• Solución
• Monitorización
• Predicción
• Simulación
• Acciones en Real-time

12
Cuando el sapo le ves andar

• Precipitation forecasts based on meteorological
  simulations of different resolution from the
  meso-scale to the storm-scale.
• For flash floods, high-resolution (1 km)
  regional atmospheric models have to be used along
  with remote sensing data (satellite, radar)
• From the quantitative precipitation forecast,
  hydrological models are used to determine the
  discharge from the affected area.
• Then hydraulic models simulate water flow
  through various river structures to predict the
  impact of the flood

13

• Need an interactive mode (simulation results for
  what-if )
• seamlessly connect together experts, data and
  computing resources needed for quick decisions
• highly automated early warning system, based on
  hydro-meteorological (snowmelt) rainfall-runoff
  simulations

14
Una cosa es predicar

• Los requerimientos de la e-Ciencia ya los
  conocemos!
• Los proyectos requieren una colaboración a una
  escala global para resolver múltiples tareas
  computacionales
• Acceder a grandes bases de datos
• Simular, procesar y analizar grandes colecciones
  de datos
• Herramientas de Colaboración (y de
  organización/gestión)
• Areas Iniciales Física, Astrofísica, Estado
  Solido, Biocomputación Salud , Meteo Medio
  Ambiente, etc.
• No podemos hacer e-Ciencia usando solo clusters
  e intranets
• Las comunidades (organizaciones virtuales)
  necesitan compartir recursos distribuidos
  geográficamente, usando protocolos abiertos y no
  bajo un control central
• Necesitamos técnicas GRID !

15
Interactive European Grid (http//www.interactive-
grid.eu)
Project acronym int.eu.grid Contract
number 031857 Instrument I3 Duration 2
years may 06-april 08
KEEPING EGEE INTEROPERABILITY!
providing transparently the researchers
desktop with the power of a supercomputer,
using distributed resources http//www.interact
ive-grid.eu
Coordinator CSIC, Jesús Marco, IFCA, Santander,
SPAIN marco_at_ifca.unican.es
User Friendly Access Grid Interactive Desktop
Distributed Parallel (MPI) Interactive Computing
Storage at the Tera level
16
Organization
NA1 Management
NA2, Training Dissemination, Outreach
Robert Pajak (CYFRONET) Celso Martínez
Rivero (CSIC)
NA3 Applications
Branislav Simo (UISAV)
Interactivity Visualization
Demos, Tutorials
Integration
Isabel Campos (CSIC) Marcus Hardt(FZK)
Irma Díaz (CSIC)
Herbert Rosmanith (GUP) Enol Fernández (UAB)
David Rodriguez(CSIC) Sven Stork (HLRS)
Rafael Marco (CSIC)
SA Operation
JRA Research
Jorge Gomes (LIP) Carlos Fernández (CESGA)
Miquel Angel Senar (UAB) Marcin Plociennik (PSNC)
17
Schedule
18
The Vision

• The int.eu.grid infrastructure will provide to
  the European researchers a professionally managed
  computing infrastructure fully dedicated to
  e-Science and accessible from the desktop through
  a friendly interface with powerful visualization
  capabilities

19
Consolidate Grid in Europe

• Interoperability
• Adopt middleware in use in other major grid
  projects
• Ensure interoperability with EGEE
• Use the IGTF authentication infrastructure
• Further develop and expand the infrastructure
• Standards
• Follow the recommendations of international
  bodies such as e-IRG and GGF/OGF
• Expand grid computing in Europe
• Reach new communities
• Support interactivity and parallel computing

20
Motivation

• Existing infrastructure projects such as EGEE
• are mainly focused on classic batch job
  processing
• do not provide adequate support for parallel
  applications
• The grid must also support
• Interactivity
• User friendly access to the infrastructure
• Parallel computing
• Continue the work that was started in CrossGrid

21
Grid Infrastructure

• 12 sites
• 7 countries
• 430 COREs
• Xeon
• Opteron
• Itanium
• Pentium
• 21TB of storage
• Interconnection by Géant
• 114 PM

22
Grid Infrastructure

• Two sets of sites
• Production
• 8 sites
• Development
• 4 sites

23
Usage

• More than 65000 jobs for both production
  development

• High usage increase after the release of the
  initial infrastructure

• Usage growing considerably

24
Virtual Organizations

• Applications
• ifusion
• ienvmod
• iusct
• ibrain
• ihep
• iplanck
• open to more applications !
• Project specific
• imain
• itut
• itest
• Operations specific
• imon
• Other
• icesga

25
Added Value

• The added value of the int.eu.grid infrastructure
  lays in its advanced capabilities and support
  for
• Interactivity and visualization
• Needed for a wide range of applications
• MPI applications
• Essential for most scientific areas
• User friendly access to resources
• Needed to bring the grid power to the end users
• These capabilities have been neglected by other
  larger infrastructure projects.

26
Migrating Desktop and RAS

• Migrating Desktop (MD) User Friendly Grid Access
• Java based GUI that hides the details of the grid
  infrastructure
• Enables user-friendly access to the grid services
• Provides interactivity and visualization features
• GVid enables interactivity for OpenGL and X
  applications
• Visualization of graphical output
• Allows to log-in in the GRID independently from
• where you are (laptop, desktop, everywhere ...)
• what kind of Computer/OS you are using (Windows,
  Linux)
• Roaming Access Server (RAS) Gateway for Grid
  Access
• Used by the Migrating Desktop
• Performs actions on the grid on behalf of the MD

Won the prize for the best application at the OGF
20 and EGEE users forum in Manchester
Submission of Interactive Jobs
Submission of Parallel Jobs
Interactivity and Visualization
Data Management
UI
RAS
MD
GUI to access Grid Services
27
Quién se guarece debajo de hoja

• Qué es una Iniciativa Grid Nacional exactamente?
• Ver documento de EGEE-NA5 ( o D.Cresti en EGI)
• Teniamos ya una iniciativa académica abierta
  (IrisGrid)
• Funciona bien cómo foro/difusión
• Posibilidades cómo servicios (certificados,
  repositorio, coordinación)
• Qué faltaba?
• Reconocimiento ( interlocución MEC y nacional?)
• Financiación de infraestructura propia y de
  soporte a usuarios
• Esquema de organización con responsabilidades
  asignadas?
• Definición (in) suficiente?
• una iniciativa Grid Nacional es la que tiene un
  apoyo oficial
• Presentación en Bruselas en 2003
• Libro blanco de e-Ciencia , participación en
  e-IRG
• Sugerencia de financiación que toca varios
  frentes
• SGPCyT Acción estratégica?
• DGI proyectos, infraestructuras científicas,
  programas internacionales
• DGPCyT infraestructuras tecnológicas y grandes
  instalaciones, Redes Temáticas

28
European Grid Initiative(see http//www.eu-egi.or
g )

• Coordination on European level is needed and
  should be driven by NGIs
• The first goal of the European Grid Initiative is
  to set up a steering body of NGI representatives
  for European grid coordination
• The NGI representatives decide about the
  operation of the European grid infrastructure and
  provides feedback and advice for the national
  grid infrastructures
• The setup of the steering body needs to be
  carefully designed

29
The EGI Design Study should

• define the scope, functions, and procedures of
  the European grid infrastructure body including
  the setup of the EGI Council (NGI
  representatives) and the transition from todays
  grid infrastructures
• support the advancement of each NGI to converge
  into a unique body managing its national grid
  infrastructure
• feed-back and refine the EGI design with the
  NGI representatives
• ... support the establishment of the European
  grid infrastructure body and the EGI Council

30
EGI Design Study Consortium

• is a group of experts with knowledge and
  experience needed for advancing EGI to the next
  level
• submits the proposal for the EGI Design Study
  to the European Commission
• gathers input from all entities involved in
  grid infrastructure operations
• distils information into documents
• interacts with and seeks endorsement from the
  NGI representatives
• dissolves after project end

31
EGI Design Study Consortium

• CERN, Switzerland (Wolfgang von Rüden)
• CESNET, Czech Republic (Ludek Matyska)
• CNRS, France (Guy Wormser)
• CSC, Finland (Kimmo Koski)
• DFN, Germany (Klaus Ullmann)
• GRNET, Greece (Fotis Karayannis)
• GUP Linz, Austria (Dieter Kranzlmüller)
• INFN, Italy (Mirco Mazzucato)
• STFC/CCLRC, UK (Michael Wilson)
• to be confirmed

32
EGI vision/objectives

• Ensure the long-term sustainability of the
  European e-infrastructure
• Coordinate the integration and interaction
  between National Grid Infrastructures
• Operate the European level of the production Grid
  infrastructure for a wide range of scientific
  disciplines to link National Grid
  Infrastructures
• Provide global services and support that
  complement and/or coordinate national services
  (Authentication, VO-support, security, etc)
• Coordinate middleware development and
  standardization to enhance the infrastructure by
  soliciting targeted developments from leading EU
  and National Grid middleware development
  projects
• Advise National and European Funding Agencies in
  establishing their programs for future software
  developments based on agreed user needs and
  development standards
• Integrate, test, validate and package software
  from leading Grid middleware development projects
  and make it widely available
• Provide documentation and training material for
  the middleware and operations. (NGIs may wish to
  make the material available in turn in their
  local language)
• Take into account developments made by national
  e-science projects which were aimed at supporting
  diverse communities.
• Link the European infrastructure with similar
  infrastructures elsewhere
• Promote Grid interface standards based on
  practical experience gained from Grid operations
  and middleware integration activities, in
  consultation with relevant standards
  organizations
• Collaborate closely with industry as technology
  and service providers, as well as Grid users, to
  promote the rapid and successful uptake of Grid
  technology by European industry.

33
Initial Consensus on

• Vision on EGI
• documented in the EGI vision paper, has been
  endorsed unanimously by the NGI representatives.
• It has been recognized that creation of EGI and
  consolidation of NGIs is of mutual interest.
• Involvement of NGIs during the design project
• The NGI Representatives requested to have a means
  of interaction with the EGI Design Project. An
  EGI Design Project Advisory Board consisting of
  NGI representatives will be created to accompany
  the EGI design project during the whole project
  duration.
• Participating countries will formally appoint
  their representative in the EGI Design Project
  Advisory Board.
• The EGI design project will organize a series of
  workshops for the NGIs, at minimum four
  workshops.
• A mailing list for internal NGI communication
  will be set up and all relevant material on the
  project will be available on the EGI web page,
  thus allowing contributions from the NGI
  representatives.
• Letter of support for the EGI design project

34
Quien no se arriesga

• Que iniciativa se lanza
• SGPCyT REDES TEMATICAS
• Convocatoria publicada, entre otras, e-CIENCIA
• Nombramiento de un coordinador Vicente Hernández
  (UPV)
• Documento Base (Enero 2007) GRID,
  SUPERCOMPUTACIÓN, APLICACIONES, MIDDLEWARE
• Grupos iniciales de trabajo Red, NGI, JRU e
  IberGrid
• Grupo NGI
• Presencia en reunión preparatoria EGI
• España no está en el proyecto de preparación
  (CORE cerrado?)
• Representación a través del Advisory Committe
• Aprovechar el trabajo previo en IrisGrid
• Primera reunión en CONFERENCIA IBERGRID
  (Santiago, 16 de mayo 2007)
• REFLEXION (e INFLEXIÓN)?
• Qué evolución se sigue en otros paises? (ej. UK,
  Nurdugrid, DGrid, HellasGrid)
• Dónde pensamos que hay que hacer el esfuerzo
  inicial?
• Coordinación? Horizontal, Vertical, por Planes,
  por Instituciones?
• Selección de Usuarios/Aplicaciones y Soporte
  Adecuado
• NGS (National Grid Service con Infraestructura
  propia) a la UK?
• Problemas orientables

35
Example Sustainability of the effort

• How to profit from the INT.EU.GRID experience in
  IBERGRID ?
• We need a defined structure at the Iberian level
  to support i2g type of
• of applications
• Partners Ibergrid in the project IFCA, LIP,
  CESGA, UAB, BIFI
• We have the tecnical skills to build a Quality
  level infrastructure
• supporting
• Parallel computing on the grid
• Simulation steering
• Graphical interfaces

36
Quien mucho se despide

• Aquí quedan nuestras páginas web
• http//grid.ifca.unican.es
• http//www.interactive-grid.eu
• Probad la infraestructura!
• Enviad las expresiones de interés a través del
  cuestionario
• Papel
• On-line
• Contacto por e-mail
• marco at ifca.unican.es
• drodrig at ifca.unican.es
• Venid a Santander y visitadnos en el IFCA!
• Mejor irse a surfear!