S

1
Analyses multi-modèles multi-ensembles CMIP5.
Le projet Prodiguer. (IPSL Climate Modeling
Center)

• Sébastien Denvil, Ashish Bhardwaj, Franck
  Corsini, Mark Morgan, Hans Moulron, Jérôme
  Raciazek, Philippe Weill, JL. Dufresne.

2
Laboratoires et tutelles
3
PLAN

1. Lactivité de modélisation du Climat
2. Dun projet CMIP à lautre
3. Accès et organisation des données CMIP5
4. Prodiguer et CMIP5
5. Analyses

4
Modèles de l'IPSL
Modèle du système Terre (ESM)
Conditions aux limites
Composition
Physique - Transport
Biogéochimie
Chimie tropo aérosols (INCA)
Émissions autres que CO2
O3 aéro-sols
Climat

• Atmosphère (LMDZ)
• Continent (Orchidée)
• Coupleur (OASIS)
• Océan (Nemo)
• Glace de mer (LIM)

Ozone starto. (Reprobus)
Émissions CO2
Carbone / CO2 (Orchidée, Pisces)
CO2
Utilisation des sols
Autres GES
Volcans Insolation Relief

• Descente déchelles régionales
• Statistique
• Dynamique

5
IPSL Earth System Model (ESM)
Tropospheric chemistry aerosols (INCA)
Emissions

• Physic Transport
• Atmosphere (LMDZ)
• Surface (ORCHIDEE)
• Ocean (NEMO/OPA)
• Sea ice (NEMO/LIM2)
• Coupler (OASIS)

Land use
Global climate
Carbon / CO2 (ORCHIDEE, NEMO/PISCES)
Volcanoes Solar irradiance
Stratospheric chemistry / ozone (REPROBUS)
Various kind of Model
Impacts studies
Dynamical Downscaling
Regionalclimate
Statistical Downscaling
6
IPSL Earth System Model (ESM)
Tropospheric chemistry aerosols (INCA)
Emissions

• Physic Transport
• Atmosphere (LMDZ)
• Surface (ORCHIDEE)
• Ocean (NEMO/OPA)
• Sea ice (NEMO/LIM2)
• Coupler (OASIS)

Land use
Global climate
Carbon / CO2 (ORCHIDEE, NEMO/PISCES)
Volcanoes Solar irradiance
Stratospheric chemistry / ozone (REPROBUS)
Various kind of Model
Impacts studies
Dynamical Downscaling
Regionalclimate
Statistical Downscaling
7
An Earth System Model (ESM) closes the carbon
cycle
Atmospheric circulation and radiation
Climate Model (AOGCM)
Land physics and hydrology
Sea Ice
Ocean circulation
Atmospheric circulation and radiation
Allows Interactive CO2
Earth System Model (ESM)
Plant ecology and land use
Sea Ice
Ocean ecology and Biogeochemistry
Land physics and hydrology
Ocean circulation
8
Une simulation climatique
METAFOR schema http//metaforclimate.eu/trac/bro
wser/CIM/tags/version-1.5 METAFOR site
http//www.purl.org/org/esmetadata/cim/portal
What
Why
How
Model
Model
Experiment
Simulation
Input Coupling Output Data
Software Component
1..
0..
0..1 Parent
Requirement
Conformance
Name Properties Description Coupling Framework
0.. Child
9
Initialization How is this done? Implications
for you

• Modelers make a long Pre-industrial control
• Typically 1850 or 1860 conditions
• Perturbation runs start from control
• Model related to real years only through
  radiative forcing
• Solar, volcanoes, human emissions, land use,
  etc.
• Each ensemble member an equally likely outcome
• Do not expect wiggles to match model vs obs

10

• Coupled Model Intercomparison Project(s)
• http//cmip-pcmdi.llnl.gov/cmip5/

11
CMIP3/AR4
About 18 groups using 24 models
participated.More than 1000 papers written using
CMIP3 database Downloads continue at very high
rate
12
Un intérêt qui ne se dément pas
CMIP3/AR4
13
Quelques chiffres
CMIP3/AR4

• AR 4 (Assessment Report 4), 2007
• 18 groupes de modélisation
• 35 Terabytes
• 77,000 fichiers
• Quantité de données distribuée
• 303 Terabytes
• 1 098 000 fichiers.
• Les groupes ont généré et exploités probablement
  10x plus de données
• AR 5 (Assessment Report 5), 2013
• Un facteur 30 à 50 en volume
• Une volonté de distribué une plus grande
  proportion des données
• La base de données doit être distribuée

14
D'un projet CMIP à l'autre, d'un rapport du GIEC
à l'autre

• CMIP3, IPCC-AR4 (2007)
• gt Énorme succès de la base de données
  multi-modèles
• Changement de paradigme analyse multi-modèles
• Utilisation au delà de la communauté des
   climatologues 
• CMIP5, IPCC-AR5 (2013)
• gt Des simulations  centennales  variées
• 20 et 21è siècles (historiques scénarios
  futurs)
• paléoclimat, dernier millénaire...
• SST forcée (AMIP, Chimie-Climat, très haute
  résolution...)
• gt Des modèles de complexités différentes
• Modèle climatique physique (AOGCM)
• Modèles avec cycle biogéochimique (modèle
  système Terre)
• Configurations idéalisées (aqua-planète, ...)
• gt Des simulations décennales

15
Un compte à rebours
CMIP5/AR5

• Fin 2009 ? Fin 2010  Simulations Climatiques

• Mi 2010 ? ? Distribution des données

• Fin 2010 ? Juillet 2012  soumission des
  articles

• Septembre 2013  IPCC AR5 WG1 session plénière

• Octobre 2014  Prix Nobel?

16
Simulations proposées par CMIP-5 pour la
préparation du 5e rapport du GIEC
Long terme (centennal)
Évaluation Obs.
Scénarios futurs
Analyse de forçages et des réponse
Court terme (décennal)
Compréhension
17
Simulations centennales proposées par CMIP5 pour
la préparation du 5e rapport du GIEC
Évolution du climat au 20e siècle
Évolution du climat au 21e siècle
Thématiques d'intérêt pour l'IPSL
Climat-carbone ( C4MIP) Nuages (CFMIP) Paléocl
imat (PMIP) Aérosols (AEROCOM) Emissions (GEIA
) Ozone (CCMVal)
Paléo-climats
Estimation des forçages radiatifs
Sensibilité climatique et rétroactions des nuages
Chimie et aérosols
Couplage climat-carbone
Climat-carbone ( C4MIP, P. Friedlingstein) Nuag
es (CFMIP, S. Bony) Paléoclimat (PMIP P.
Braconnot) Aérosols (AEROCOM, M.
Schultz) Emissions (GEIA, C. Granier) Ozone
(CCMVal, S. Bekki)
18
CMIP5/AR5
Quatre scénarios futures (dont un très optimiste)
RCP8.5, RCP6.0, RCP4.5, RCP 2.6 Noms basés sur
le forçage en 2100 (W / m2) Détail des
émissions et concentrations sur
http//www.iiasa.ac.at/web-apps/tnt/RcpDb/dsd?Acti
onhtmlpagepagewelcome Travail à rebours pour
les modélisateurs Intégrés Bâtir les
scénarios d'activité correspondant à ces forçages
19

• Scénarios définis en termes de forçage radiatif
• Travail en parallèle des communautés climat 
  et  socio-économique 
• Scénarios futurs incluant des politiques de
  contrôle des perturbations anthropiques
• Un scénarios pour limiter le réchauffement à 2C
  environ

CMIP5/AR5
Concentration
Forçage radiatif
20
Near Term - Core
CMIP5/AR5

• 10 year hindcasts
• Initialized at 1960, 1965, 1970
• 3 ensemble members
• 30 year forecasts
• Initialized at 1960, 1980, 2005
• 3 ensemble members

1965
1970
1985
1980
1975
2000
1995
1990
2005
2010
2030
1960
21
Near Term Tier 1
CMIP5/AR5

• Investigate role of short live species
• Investigate alternative initialization methods
• 100 yr control and 1 run (if not doing long term
  experiments with same model)
• Increase ensemble size to 10
• Hindcast without volcanoes
• Runs initialized in 200X
• 2001, 2002, 2003, 2004, 2006, 2007, 2008,
• Prediction with Pinatubo-like event in 2010

22
Modèles de l'IPSL
CMIP5/AR5
CMIP5/AR5
CMIP5/AR5
LMDZ-ORCHIDEE-ORCA-LIM-PISCES-INCA-REPROBUS-OASI
S
Modèle intégré du système Terre (ESM), physique
éprouvée IPSL-CM5A
Modèle avec nouvelle physique IPSL-CM5B
Basse résolution IPSL-CM5A-LR (3.75x2L39) Oce
2
Moyenne résolution IPSL-CM5A-MR
(2.5x1.25L39) Oce 2
Basse résolution IPSL-CM5B-LR (2.5x1.25L39) Oce
2
Moyenne résolution (2.5x1.25L39) Oce 2 Haute
résolution (2x1L39) Oce 0.5

• Simulations
• demandées (toutes)
• de sensibilité
• avec ? niveaux d'intégration

• Simulations
• demandées (principales)
• guidage mod. régionaux
• de sensibilité

• Simulations
• demandées (principales)

23

• Accéder aux résultats CMIP5
• Contact
• cmip5-helpdesk (AT) stfc.ac.uk

24
Coupled Model Intercomparison Project (5)?
CMIP5/AR5

• Coordination de laspect données
• PCMDI Communauté CMIP5
• BADC et WDCC Communauté Climat Européenne et
  IPCC working group 2 et 3 (mandat
  IPCC-DATA.ORG)?
• 3 Décembre 2008 MoU Tripartite (PCMDI, BADC,
  WDCC)

• gt 20 groupes de modélisation du climat
• gt 50 expériences numériques
• gt 86 simulations pour satisfaire aux expériences
• gt 6500 ans de simulation
• gt 800 To darchive actuellement
• 1 Po (3 Po) envisagés d'ici 1 an (2 ans)

25
Modelers, PCMDI, JPL, ESA, CommunityWho does
what?
Produce Simulations Projections make them
available (HUGE job focus on model development)
Model output archived in a uniform fashion to
facilitate access and analysis. (Far from trivial
see below)
Sophisticated development and application of
model diagnostics for evaluation (Observations
needed here, but which ones?)
Identify and deliver/archive observations in form
useful for model analysis (Requires model, obs
and IT expertise)
Develop global observations relevant to climate
change research (Focus on hardware, retrievals,
delivery)
Enormous Model Output/Complexity
26
http//is.enes.org
IPSL
EU FP7 IS-ENES METAFOR
CNRM
CMCC
EC-EARTH
Distributed 3.3 Po
Earth System Grid Federation
Adapted from Taylor, WGCM, 2010
27
La Fédération Earth System Grid conduite par le
PCMDI
Données disponible auprès des groupes de
modélisation (via ESG), et dans de multiples
CORE centres.

• Si chaque couleur représente les sorties dun
  groupe de modélisation, alors on peut voir que la
  structure est en hub, avec réplication au sein
  des noeuds centraux, et connections à des noeuds
  périphériques.

Tout les centres qui fourniront des core-data
ne rendront pas disponible le reste au sein de la
fédération de sites.
Plusieurs copies du CORE data ESG et dautres
interfaces!
28
Data Node Architecture
29
ESGF GATEWAY HOW TO

• First register as a user with the CMIP5 research
  role.
• http//pcmdi3.llnl.gov
• http//cmip-gw.badc.rl.ac.uk
• http//ipcc-ar5.dkrz.de
• How-to from CMIP5 website
• http//cmip-pcmdi.llnl.gov/cmip5/data_getting_star
  ted.html
• How-to from is-enes portal
• https//verc.enes.org/help/how-to-./esgf-gateways/
  

30
Coupled Model Decadal Simulations
Short Name of Experiment (In CMIP5 output files this is recorded in the global attribute named experiment_id.) Experiment Name (In CMIP5 output files this is recorded in the global attribute named experiment.) Experiment Description Year Per run Ensemble size requested
1.1 1.2 1.5 decadalXXXX 10- or 30-year run initialized in year XXXX decadal hindcasts/predictions, some extended to 30 years 10-30 310
1.3 noVolcXXXX volcano-free hindcasts hindcasts but without volcanoes 10-30 3
1.4 volcIn2010 prediction with 2010 volcano Pinatubo-like eruption imposed in year 2010 10-30 3
1.6 chemistry-focused runs near-term runs with enhanced chemistry/aerosol models 10-30 1
31
Coupled Model Long-Term Simulations
3.1 piControl pre-industrial control coupled atmosphere/ocean pre-industrial control run 500 1
3.2 historical historical simulation of recent past (1850-2005) 156 1
3.4 midHolocene mid-Holocene consistent with PMIP, impose Mid-Holocene conditions 100 1
3.5 lgm last glacial maximum consistent with PMIP, impose last glacial maximum conditions 100 1
3.6 past1000 last millennium consistent with PMIP, impose forcing for 850-1850 1000 1
4.1 rcp45 RCP4.5 future projection (2006-2300) forced by RCP4.5 95-295 1
4.2 rcp85 RCP8.5 future projection (2006-2300) forced by RCP8.5 95-295 1
4.3 rcp26 RCP2.6 future projection (2006-2300) forced by RCP2.6 95-295 1
4.4 rcp60 RCP6 future projection (2006-2100) forced by RCP6 95 1
5.1 esmControl ESM pre-industrial control as in experiment 3.1, but emissions-forced (with atmospheric CO2 determined by model) 250 1
5.2 esmHistorical ESM historical as in experiment 3.2, but emissions-forced (with atmospheric CO2 determined by model) 156 1
5.3 esmrcp85 ESM RCP8.5 as in experiment 4.2, but emissions-forced (with atmospheric CO2 determined by model) 95 1
32
Coupled Model Long-Term Simulations
5.4-1 esmFixClim1 ESM fixed climate 1 radiation code "sees" control CO2, but carbon cycle sees 1/yr rise 140 1
5.4-2 esmFixClim2 ESM fixed climate 2 radiation code "sees" control CO2, but carbon cycle sees historical followed by RCP4.5 rise in CO2 251 1
5.5-1 esmFdbk1 ESM feedback 1 carbon cycle "sees" control CO2, but radiation sees 1/yr rise 140 1
5.5-2 esmFdbk2 ESM feedback 2 carbon cycle "sees" control CO2, but radiation sees historical followed by RCP4.5 rise in CO2 251 1
6.1 1pctCO2 1 percent per year CO2 imposed 1/yr increase in CO2 to quadrupling 140 1
6.3 abrupt4xCO2 abrupt 4XCO2 impose an instantaneous quadrupling of CO2, then hold fixed 150 1
7.1 historicalNat natural-only historical simulation but with natural forcing only 156 1
7.2 historicalGHG GHG-only historical simulation but with greenhouse gas forcing only 156 1
7.3 historicalMisc other historical forcing historical simulation but with other individual forcing agents or combinations of forcings. 156 1
7.4 historicalExt historical extension extension of the historical simulation (experiment 3.2) through year 2012. 7 1
33
Atmosphere-Only Simulations
3.3 amip AMIP AMIP (1979- at least 2008) 30 1
2.1 sst2030 2030 time-slice conditions for 2026-2035 imposed 10 1
6.2a sstClim control SST climatology control run climatological SSTs sea ice imposed 30 1
6.2b sstClim4xCO2 CO2 forcing as in experiment 6.2a, but with 4XCO2 imposed 30 1
6.4a sstClimAerosol all aerosol forcing as in experiment 6.2a, but with aerosols from year 2000 of experiment 3.2 30 1
6.4b sstClimSulfate sulfate aerosol forcing as in experiment 6.2a, but with sulfate aerosols from year 2000 of experiment 3.2 30 1
6.5 amip4xCO2 4xCO2 AMIP AMIP (1979-2008) conditions (experiment 3.3) but with 4xCO2 30 1
6.6 amipFuture AMIP plus patterned anomaly consistent with CFMIP, patterned SST anomalies added to AMIP conditions (experiment 3.3) 30 1
6.7a aquaControl aqua planet control consistent with CFMIP, zonally uniform SSTs for ocean-covered earth 5 1
6.7b aqua4xCO2 4xCO2 aqua planet as in experiment 6.7a, but with 4XCO2 5 1
6.7c aqua4K aqua planet plus 4K anomaly as in experiment 6.7a, but with a uniform 4K increase in SST 5 1
6.8 amip4K AMIP plus 4K anomaly as in experiment 3.3, but with a uniform 4K increase in SST 30 1
34
Search
35
Login
36
Select
37
Get wget.sh
38
Credential
39
Organisation des données CMIP5

• Objectif
• Pouvoir exploiter directement les données
  produites par les autres centres
• Une table
• Une liste de variables géophysiques
• Une fréquence de sortie parmi year, mon, day,
  6h, 3h, clim, fx
• Peut concerner un ou plusieurs milieux ( realms
  )
• Omon, Amon, Lmon, Oimon, cfMon, cfDay
• aero, day, 6hLev, 6hrPlev, 3hr
• Peut concerner toute ou partie de la durée d'une
  simulation
• Un piège
• un même nom de variable peut avoir des
  significations différentes dans deux tables .
• Ex sbl dans Amon et LImon

40
Organisation des données CMIP5 - contenu des
tables

• Dictionnaire exhaustif des sorties CMIP5 (167
  pages, 800 vars)
• http//pcmdi-cmip.llnl.gov/cmip5/docs/standard_out
  put.xls
• Data Reference Syntax (DRS)
• http//cmip-pcmdi.llnl.gov/cmip5/docs/cmip5_data_r
  eference_syntax.pdf
• Dans table Amon 3D atmos sur 17 niveaux de
  pressions sauf cl, clw, cli, mc, phalf, pfull
• Dans table aero et cfMon 3D atmos sur niveaux
  modèles.
• Dans table day 3D atmos sur 7 niveaux de
  pressions
• Dans table cfDay 3D atmos sur niveaux modèles
• 6hLev ta, ua, va, hus, psl 3D atmos sur
  niveau modèle input à CORDEX
• 6hPlev ta, ua, va, ps 3D atmos sur 3 niveaux
  de pression

41
Organisation des données CMIP5 - fichiers

• Un fichier une variable géophysique pour une
  période d'un membre d'une simulation d'un modèle
  (et d'une table)
• Noms de fichiers de la Data Reference Syntax
• ltvariable namegt_ltMIP tablegt_ltmodelgt_ltexperimentgt_lt
  ensemble membergt_lttemporalsubsetgt.nc
• ta_Amon_IPSL-CM5A-LR_historical_r5i1p1_195001-2005
  12.nc
• ltvariable namegt, ltMIP tablegt, ltmodelgt,
  ltexperimentgt, and ltensemble membergt are DRS
  components,
• The lttemporal subsetgt is omitted for variables
  that are time-independent.
• ensemble_member rltNgtiltMgtpltLgt
• r n d'état initial
• i n de méthode d'initialisation
• p n de version de physique (ou n de jeu
  de forçage pour historicalMisc)
• NML 0 pour les champs fixes

42
Organisation des données CMIP5 attributs
globaux netcdf

• Le labo et le modèle
• institution "IPSL (Institut ..)" /
  institute_id "IPSL" / model_id
  "IPSL-CM5A-LR"
• contact "ipsl-cmip5 _at_ ipsl.jussieu.fr ...
• comment " ... include natural and
  anthropogenic forcings ...."
• references " ...reference available here
  http//icmc.ipsl.fr"
• source "IPSL-CM5A-LR (2010) atmos LMDZ4
  (LMDZ4_v5, 96x95x39) ...
• L'expérience
• experiment_id "historical"
• forcing "Nat,Ant,GHG,SA,Oz,LU,SS,Ds,BC,MD,OC,AA
  "
• parent_experiment "pre-industrial control" /
  parent_experiment_id "piControl"
• parent_experiment_rip "r1i1p1"
• branch_time 2000. (en année (IPSL) ou en
  jours (CNRM) ou en seconde ...)
• Fréquence et milieu
• frequency "mon" / modeling_realm "atmos"
  
• tracking_id "92c75dc8-a117-4827-b8fc-b746156ccf
  21"

43
Controlled Vocabulary (CV) for Abbreviated
Forcing Descriptors
Abbrev. Forcing Description Abbrev. Forcing Description
Nat natural forcing (a combination, not explicitly defined here, that might include, for example, solar and volcanic) LU land-use change
Ant anthropogenic forcing (a mixture, not explicitly defined here, that might include, for example, well-mixed greenhouse gases, aerosols, ozone, and land-use changes). Sl solar irradiance (note Sl is S followed by a lower case L, not an upper case I)
GHG well-mixed greenhouse gases (a mixture, not explicitly defined here) Vl volcanic aerosol (note Vl is V followed by a lower case L, not an upper case I)
SD anthropogenic sulfate aerosol, accounting only for direct effects SS sea salt
SI anthropogenic sulfate aerosol, accounting only for indirect effects Ds Dust
SA ( SD SI) anthropogenic sulfate aerosol direct and indirect effects BC black carbon
TO tropospheric ozone MD mineral dust
SO stratospheric ozone OC organic carbon
Oz ( TO SO) ozone ( tropospheric and stratospheric ozone) AA anthropogenic aerosols (a mixture of aerosols, not explicitly defined here)
44
CV for Modeling Center and Models
Modeling Center (or Group) Institute ID Model Name
The Centre for Australian Weather and Climate Research CAWCR ACCESS1.0
Beijing Climate Center, China Meteorological Administration BCC BCC-CSM1.1
College of Global Change and Earth System Science, Beijing Normal University GCESS BNU-ESM
Canadian Centre for Climate Modelling and Analysis CCCMA CanESM2
CanCM4
CanAM4
University of Miami - RSMAS RSMAS CCSM4(RSMAS)
National Center for Atmospheric Research NCAR CCSM4 CESM1(BGC)
CESM1(CAM5)
CESM1(CHEM,CAM5)
CESM1(CHEM)
CESM1(WACCM)
National Centers for Environmental Prediction NCEP CFSv2
Centro Euro-Mediterraneo per I Cambiamenti Climatici CMCC CMCC-CESM
CMCC-CM
CMCC-CMS
45
CV for Modeling Center and Models
Centre National de Recherches Meteorologiques / Centre Europeen de Recherche et Formation Avancees en Calcul Scientifique CNRM-CERFACS CNRM-CM5
Commonwealth Scientific and Industrial Research Organization in collaboration with Queensland Climate Change Centre of Excellence CSIRO-QCCCE CSIRO-Mk3.6
EC-EARTH consortium EC-EARTH EC-EARTH
LASG, Institute of Atmospheric Physics, Chinese Academy of Sciences LASG-IAP FGOALS-G2.0
FGOALS-gl
FGOALS-S2.0
The First Institute of Oceanography, SOA, China FIO FIO-ESM
NASA Global Modeling and Assimilation Office NASA GMAO GEOS-5
NOAA Geophysical Fluid Dynamics Laboratory NOAA GFDL GFDL-CM2.1
GFDL-CM3
GFDL-ESM2G
GFDL-ESM2M
GFDL-HIRAM-C180
GFDL-HIRAM-C360
46
CV for Modeling Center and Models
NASA Goddard Institute for Space Studies NASA GISS GISS-E2-H
GISS-E2-H-CC
GISS-E2-R
GISS-E2-R-CC
GISS-E2CS-H
GISS-E2CS-R
NASA Global Modeling and Assimilation Office NASA GMAO GEOS-5
National Institute of Meteorological Research/Korea Meteorological Administration NMR/KMA HadGEM2-AO
Met Office Hadley Centre MOHC HadCM3
HadCM3Q
HadGEM2-CC
HadGEM2-ES HadGEM2-A
Natural and Environmental Research Council/Met Office Hadley Centre undeclared HiGEM1.2
47
CV for Modeling Center and Models
Institute for Numerical Mathematics INM INM-CM4
Institut Pierre-Simon Laplace IPSL IPSL-CM5A-LR
IPSL-CM5A-MR
IPSL-CM5B-LR
Japan Agency for Marine-Earth Science and Technology, Atmosphere and Ocean Research Institute (The University of Tokyo), and National Institute for Environmental Studies MIROC MIROC-ESM MIROC-ESM-CHEM
Atmosphere and Ocean Research Institute (The University of Tokyo), National Institute for Environmental Studies, and Japan Agency for Marine-Earth Science and Technology MIROC MIROC4h MIROC4m MIROC5
Max Planck Institute for Meteorology MPI-M MPI-ESM-HR
MPI-ESM-LR MIP-ESM-P
Meteorological Research Institute MRI MRI-AGCM3.2H
MRI-AGCM3.2S
MRI-CGCM3
MRI-ESM1
Norwegian Climate Centre NCC NorESM1-M
48
Organisation des données CMIP5 structure des
répertoires (1)

• The standard CMIP5 output tool CMOR2 writes
  output files to a directory structure mapping DRS
  components to directory names as
• ltactivitygt/ltproductgt/ltinstitutegt/ltmodelgt/ltexperime
  ntgt/ltfrequencygt/ltmodeling realmgt/ltvariable
  namegt/ltensemble membergt/
• /CMIP5/output/IPSL/IPSL-CM5A-LR/decadal1990/day/at
  mos/tas/r3i2p1/
• /CMIP5/output/MOHC/HadCM3/rcp45/mon/ocean/uo/r1i1p
  1/
• This structure, based on a previous version of
  the DRS, is incompatible with the recommended
  current DRS directory structure (see after).

49
Organisation des données CMIP5 structure des
répertoires (2)

• It is recommended that ESGF data nodes should
  layout datasets on disk mapping DRS components to
  directories as
• ltactivitygt/ltproductgt/ltinstitutegt/ltmodelgt/ltexperime
  ntgt/ltfrequencygt/ltmodeling realmgt/ltMIP
  tablegt/ltensemble membergt/ltversion
  numbergt/ltvariable namegt/ltCMOR filenamegt.nc
• /CMIP5/output1/UKMO/HadCM3/historical/day/atmos/da
  y/r1i1p1/v20110728/ta
• /CMIP5/output1/MIROC/MIROC5/rcp26/mon/land/Lmon/r1
  i1p1/v1/lai

50
Organisation des données CMIP5 structure des
répertoires (3)

• output1 and output2 merge into a single
  directory
• ltactivitygt/merge/ltinstitutegt/ltmodelgt/ltexperimentgt/
  ltfrequencygt/ltmodeling realmgt/ltMIP
  tablegt/ltensemble membergt/ltversion
  numbergt/ltvariable namegt/ltCMOR filenamegt.nc
• /CMIP5/merge/UKMO/HadCM3/historical/day/atmos/day/
  r1i1p1/v20110728/ta
• /CMIP5/merge/UKMO/HadCM3/historical/day/atmos/day/
  r1i1p1/latest/ta
• /CMIP5/merge/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1
  p1/v1/lai
• /CMIP5/merge/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1
  p1/latest/lai

51

• Le projet IPSL Prodiguer
• S.Denvil, A.Bhardwaj, F.Corsini, M.Morgan,
  H.Moulron, J. Raciazek, P.Weill, JL. Dufresne.
• Contact
• sdipsl (AT) ipsl.jussieu.fr

52
Prodiguer what's that?

• Calcul ciclad.ipsl.jussieu.Fr
• Cluster de calcul (20 nœuds dual quad-core AMD)
• Climate analysis enabled netcdf, cdo, ferret,
  matlab
• Stockage /prodigfs/esg/CMIP5/merge
• Sous ensemble CMIP5 (160 To ? 300 To début 2012)
• Support à l'analyse Prodiguer
• Un portail beau et intuitif pour naviguer dans
  le sous ensemble CMIP5 https//prodiguer.ipsl.fr
  
• Un outil puissant de téléchargement CMIP5
  (fonctionnalités proches du script type wget
  CMIP3)
• Un data node maison (accès opendap sur
  agrégation) (année 1?10 11?20 1?20)

53
(No Transcript)
54
État des lieux CMIP5 ESG

• The GOOD
• DOI pour les données (Digital Object Identifier)
• ESG ça marche
• The BAD
• Mais pas très bien daprès moi
• Couche sécurité (cf licence) cest louuurd
• The UGLY
• Les portails CMIP5 ne sont pas intuitifs
• Téléchargement complexe (authentification/autoris
  ation)
• Incohérence des arborescences des data nodes

55
État des lieux CMIP5 IPSL

• The GOOD
• Collaboration au niveau nationale quant à
  linstallation du nœud de données. (LIPSL a été
  moteur)
• IPSL et CNRM/CERFACS parmi les 5 premiers
  groupes présents sur ESG (mars 2011)
• 62 du volume de larchive CMIP5 vient de la
  communauté ENES (de lIPSL principalement)
• The VERY SURPRISING
• Le datanode IPSL distribuant les données stockés
  sur ciclad est la première machine en sortie de
  réseau de lUPMC (devant des serveurs distribuant
  linux).

56
État des lieux CMIP5 IPSL

• The VERY SURPRISING 2011
• Volume (To) / Nombre de fichiers téléchargés
• Avril 1.26 To / 777 fichiers
• Mai 2.96 To / 1855 fichiers
• Juin 16.2 To / 7274 fichiers
• Juillet 1.51 To / 2028 fichiers
• Août 13.9 To / 8627 fichiers
• Septembre 5.9 To / 1946 fichiers
• Octobre 11.1 To / 8758 fichiers
• (Mi)Novembre 28.5 To / 17238 fichiers
• Total 81.6 To / 48503 fichiers
• Nombre de requêtes 2 659 584
• A comparer avec les 48 503 fichiers totaux !
• Nombre dIP ayant demandé un téléchargement 415

57
État des lieux CMIP5 financement actuel

• Source européenne FP7 METAFOR/IS-ENES/EGI
• Source internationale G8 projet ExArch
• Source nationale GIS Prodiguer. Future ANR?
• Labellisation INSU PRODIGUER refusé
• Dossiers classés A et considérés comme de bons
  projets pouvant sans conteste être labellisés,
  mais qui mériteraient certainement une ouverture
  nationale plus grande ou dont limplémentation
  doit être revue.
• PRODIGUER système de diffusion des données de
  modélisation, issues des exercices du GIEC, est
  un projet tout à fait intéressant mais dont le
  soutien comme SOERE peut faire débat. Lavis du
  comité est que cette initiative mérite dêtre
  soutenue dans un cadre quAllenvi pourrait
  déterminer.

58
En soutient de cette activité

• FP7 METAFOR 60 Keuros. Work Package (WP) leader
  
• GIS Climat PRODIGUER 118 Keuros. Porteur du
  projet.
• FP7 IS-ENES 110 Keuros. Contact IPSL de 2 WP.
• FP7 EGI-INSPIRE 100 Keuros. Contact IPSL d'un
  WP.
• G8 ExArch 197 Keuros. PrincipaI Investigator
  (PI).
• Un financement cumulé de 585 Keuros sur 5 ans
• Trois ingénieurs recrutés sur ces projets (dans
  la continuité), le troisième depuis un an.

59
Les soutients potentiels

• EQUIPEX2 GENCI DIP-HPC 70Keuros d'équipement
  pour l'IPSL. WP leader. Soumis en septembre 2011.
  Refusé.
• FP7 IS-ENES2 260 Keuros. WP leader. Soumis en
  novembre 2011.

60
(No Transcript)
61

• Prodiguer portal
• CMIP5 subset query/access tools
• IPSL - METAFOR IS-ENES - ESGF
• M.Morgan, S.Denvil
• Contact
• Momipsl (AT) ipsl.jussieu.fr

62
https//prodiguer.ipsl.fr/
63
Dashboard and data access
64
Start
65
Wait...
66
Search
67
Select
68
Tick it
69
Choose
70
copy/paste
71

• Synchro-Data
• CMIP5 data access tools
• IPSL - ESGF - EGI
• J.Raciazek, S.Denvil
• Contact
• Jripsl (AT) ipsl.jussieu.fr

72
Overview

• Search for CMIP5 data in ESGF
• File selection using DRS facets (realm, freq,
  experiment, ensemble, variable). So called
  template.
• Incremental search (keep track of what have
  already been downloaded)
• Metadata analysis
• Compute total files size
• Check if all variables get a match in ESGF
• Transfer files from ESGF to local filesystem
• Transparent handling of x509 Certificate based
  security
• HTTP Parallel download

73
WARNING

• You should not use it to download files
• IPSL Climate Modeling Group supports
• Centralized templates handling
• To avoid redundant downloads
• To avoid unnecessary network burden
• Prefer several small templates (not a big one)

74
Installation

• Retrieve installation script from synchro-data
  webpage
• wget http//dods.ipsl.jussieu.fr/jripsl/synchro_da
  ta/install.sh
• chmod x install.sh
• Run the script with  -b  option to start
  installation in HOME/synchro_data
• ./install.sh -b
• If you want to install in non default location,
  use  -t   option
• ./install.sh -b -t /opt

75
Configuration

• Sign up to ESGF
• http//cmip-pcmdi.llnl.gov/cmip5/data_getting_star
  ted.html
• Set username and password
• Edit file .synchrodata_login
• Select which models to download
• Edit file MODELS
• Select which variables to download
• Edit file user_selections/default.txt

76
Template example

• experiments"historical amip decadal2000"
• ensembles"r1i1p1"
• ensembles"all"
• variablesatmosmon"tas"
• variableslandfx"sftgif"
• variablesseaIcemon"sic evap nshrice"
• variablesocnBgchemmon"dissic fbddtalk"
• variablesatmosmon"ta hur clcalipso
  parasolRefl"

77
Usage

• Search for files
• ./start.sh -a -t template
• Start download
• ./start.sh -b
• Get download current status
• ./start.sh -s
• Stop download
• ./stop.sh

78
Usage (suite)

• Change priority (e.g. set higher priority for a
  template)
• ./start.sh -c -p 1500 -t template
• Update model list
• ./start.sh -e
• Retry transfer with error status
• ./start.sh -j
• More options
• ./start.sh -h

79
Output

• Data folder
• HOME/synchro_data/data
• Use new DRS format
• DB folder
• HOME/synchro_data/db
• Sqlite database with transfer information
  (status, duration, priority..)
• Log folder
•  get_data.log  and  synchro_data_transfert.log 
  for transfer related messages
• One log file per model for discovery related
  messages

80

• Aggregation node
• CMIP5 subset aggregated files
• IPSL GIS Climat - IS-ENES
• A.Bhardwaj, S.Denvil
• Contact
• Abhipsl (AT) ipsl.jussieu.fr

81
Thredds
82
Dataset
83
Real file
84
Virtual File Aggregation
85
All in one
86
Aggrégation temporelle préparatif sur CICLAD

• -------------------------------------------------
  -----
• NETCDF4
• -------------------------------------------------
  -----
• export PATH/opt/netcdf4/gfortran/binPATH
• export LD_LIBRARY_PATH/opt/netcdf4/gfortran/lib
  LD_LIBRARY_PATH
• export NETCDF_INC_DIR/opt/netcdf4/gfortran/includ
  e
• export NETCDF_LIB_DIR/opt/netcdf4/gfortran/lib
• -------------------------------------------------
  -----
• CDO with opendap
• -------------------------------------------------
  -----
• export PATH/home/laliberte/local/cdo/binPATH

87
Moyenne d'ensemble

• !/bin/ksh
• set -vx
• experimenthistorical
• which cdo
• set -A liste_file
• for EnsembleMember in 1 2 3 4 5 6 7 8 9 10 do
• test d'existence de l'aggregation
• wget --spider http//vesg3.ipsl.fr/thredds/
  dodsC/cmip5.merge.CNRM-CERFACS.CNRM-CM5.experime
  nt.mon.atmos.Amon.rEnsembleMemberi1p1.tas.1.ag
  gregation.html gt /dev/null 2gt1
• rc?
• if rc -eq 0 then
• aggregation présente
• echo success
• liste_fileliste_filehttp//v
  esg3.ipsl.fr/thredds/dodsC/cmip5.merge.CNRM-CERFAC
  S.CNRM-CM5.experiment.mon.atmos.Amon.rEnsembl
  eMemberi1p1.tas.1.aggregation
• else
• aggregation absente
• echo failure
• fi
• done

88
Variante autour de l'aggrégation

• Moyenne saisonnière
• cdo seasmean http//vesg3.ipsl.fr/thredds/dodsC/cm
  ip5.merge.MOHC.HadGEM2-ES.historical.mon.atmos.Amo
  n.r1i1p1.hfls.1.aggregation
• result.nc
• Moyenne mensuelle climatologique
• cdo ymonmean http//vesg3.ipsl.fr/thredds/dodsC/cm
  ip5.merge.MOHC.HadGEM2-ES.historical.mon.atmos.Amo
  n.r1i1p1.hfls.1.aggregation
• result.nc
• Moyenne annuelle
• cdo yearmean http//vesg3.ipsl.fr/thredds/dodsC/cm
  ip5.merge.MOHC.HadGEM2-ES.historical.mon.atmos.Amo
  n.r1i1p1.hfls.1.aggregation result.nc
• Regrillage en pré calculant le fichier de poids
• cdo setgrid,IPSL.ORCA2_gridCF.nc
  http//vesg3.ipsl.fr/thredds/dodsC/cmip5.merge.IPS
  L.IPSL-CM5A-LR.historical.mon.ocean.Omon.r1i1p1.to
  s.1.aggregation inter.nc
• cdo genbic,r360x180 inter.nc remapweight.nc
• cdo remap, remapweight.nc inter.nc sst_regular.nc
• Et plus
• cdo -h https//code.zmaw.de/files/cdo/html/1.5.2
  /cdo.pdf

89
Perspectives CMIP à 10 ans