UE BASES DE DONNEES OCEANOGRAPHIQUES

1
UE BASES DE DONNEES OCEANOGRAPHIQUES
Introduction à la gestion de données
océanographiques
V. Tosello (IDM/SISMER) http//www.ifremer.fr/sis
mer sismer_at_ifremer.fr
2
OBJECTIFS DE LUE

• Cours 1 V. Tosello
• Connaissances générales en gestion de données
  pour faciliter la recherche et lutilisation des
  données
• Cours 2 M. Fichaut
• Les bases de données docéanographie physique
  Ifremer
• Cours 3 V. Tosello M. Fichaut
• Les bases de données de géologie et géophysique
  Ifremer
• Laccès aux données par le portail Web Nautilus
  du SISMER
• Cours 4 Visite de lIFREMER
• Cours 5 G. Maudire M-C. Fabri
• Les bases de données denvironnement Ifremer
• Les Systèmes dInformation Géographique
• La gestion de données en biodiversité marine

3
SISMER (Systèmes dInformations Scientifiques
pour la MER)

• Désigné Centre National de Données
  Océanographiques par le programme international
  déchange dinformations et de données
  océanographiques (IODE) de la Commission
  Océanographique Intergouvernementale de lUNESCO.
• Missions
• Développer et exploiter des systèmes
  dinformations et des bases de données marines
• Etablir des normes de qualité à respecter pour
  larchivage et la gestion des données marines
• Maintenir un inventaire des données marines en
  France, leurs responsables et leurs conditions
  daccès
• Représenter lIFREMER au sein des organisations
  nationales et internationales impliquées dans la
  gestion de données marines
• Collaboration avec le service dingénierie
  informatique de lIFREMER

4
SISMER (Systèmes dInformations Scientifiques
pour la MER)

• Activités
• Opérer la banque nationale océanographique
• Mettre à disposition de la communauté les
  produits de données dintérêt général publiés par
  divers organismes
• Participer aux structures de gestion de données
  des programmes de lIFREMER qui incluent
  plusieurs projets nationaux et internationaux
• Thématiques
• Information et catalogues
• Géophysique et Géologie Marine
• Physique et bio-chimie marine
• Données temps réel de locéanographie
  opérationnelle
• Données de référence géographiques

5
SISMER (Systèmes dInformations Scientifiques
pour la MER)
http//www.ifremer.fr/sismer
6
ATTENTES DE LA SOCIETE

• Surveillance, usage et gestion de la zone côtière
• santé publique qualité des eaux
• environnement qualité des biotopes côtiers
• Surveillance et exploitation des ressources
  aquacoles 
• Exploitation durable des ressources halieutiques
• Exploration et exploitation des fonds océaniques
• Étude de la variabilité climatique
  Océanographie Opérationnelle

7
BESOINS ET ENJEUX

• Besoin
• Demande croissante de données de tout type,
  cohérentes, validées, normalisées, intégrées,
  accessibles sans délai
• Enjeu assurer la sécurité, la qualité et
  laccessibilité des données
• Éviter la perte ou laltération des données
• Assurer une certaine cohérence et comptabilité
  aux jeux de données
• Avoir un accès facile aux données de différentes
  sources
• Préparer des jeux de données intégrées et des
  produits de synthèse

8
DEFINITIONS
9
DONNEE OCEANOGRAPHIQUE

• Mesure ou description dun échantillon ou dun
  phénomène prélevé ou observé dans le milieu marin
  
• colonne deau physique, chimie
• fond de la mer et de son sous-sol géophysique,
  géologie
• monde vivant biologie
• localisée dans lespace (position géographique
  X,Y, Z) et, le cas échéant, dans le temps (T)

10
METADONNEES

•  Données décrivant des données 
• Il sagit de toute linformation permettant de
  décrire les caractéristiques dun jeu de données
  à lexclusion du contenu même de ces données
• Informations didentification (intitulé,
  description, généalogie)
• Informations techniques (codification, qualité,
  mode de production, période de validité, emprise
  géographique)
• Informations administratives (conditions daccès
  et de diffusion)
• Informations complémentaires (point de contact)

11
METADONNEES

• Revient à se poser les questions suivantes sur
  les données
• QUOI ?
• OU?
• QUAND?
• QUI?
• COMMENT?

12
METADONNEES

• Intérêts
• Fournir à lutilisateur du jeu de données toute
  linformation utile à son bon usage.
• Garder la mémoire des informations utiles sur les
  données, à des fins dutilisation ultérieure.
• Aider à la recherche de données

13
QUELQUELS METADONNEES INDISPENSABLES
14
SYSTEMES DE COORDONNEES

• Définition
• Il sagit dun référentiel dans lequel on peut
  représenter des éléments dans lespace. Il permet
  de se positionner sur lensemble du globe
  terrestre grâce à des coordonnées.

• ANGULAIRES (coordonnées géographiques)
• Latitude, Longitude / repère géodésique
• METRIQUES (coordonnées projetées ou planes)
• X,Y (projection)
• Ex Projections Lambert, Mercator, etc

15
SYSTEMES GEODESIQUES

• Représentation de la forme de la Terre
• Sphère trop imprécise
• Géoïde trop complexe
• Ellipsoïde la plus adaptée

Sphère Géoïde
Ellipsoïde
16
SYSTEMES GEODESIQUES

• Un système géodésique peut être défini par
• Un centre et trois axes orthonormés Ox, Oy, Oz
  définis par leur orientation. Ox et Oy se
  trouvent dans le plan équatorial terrestre et Oz
  est orienté suivant laxe de rotation terrestre.
• -gt Coordonnées cartésiennes X, Y, Z
• Un ellipsoïde de révolution choisi de manière à
  approcher au mieux le géoïde (centre, demi-grand
  axe, aplatissement).
• -gt Coordonnées géographiques latitude, longitude

17
SYSTEMES GEODESIQUES

• Systèmes locaux France Métropolitaine
• NTF (Nouvelle Triangulation de la France)
• Cartes IGN
• Topographie et hydrographie
• Système Européen Compensé 1950 (ED50)
• Cartes marines SHOM
• RGF (Réseau Géodésique Français) équivalent au
  WGS84
• Systèmes mondiaux
• WGS (World Geodetic System)
•  1984  Global Positioning System (GPS)

18
SYSTEMES DE COORDONNEES GEOGRAPHIQUES

• Parallèles et Méridiens
• Un méridien est un cercle imaginaire tracé sur le
  globe terrestre passant par les pôles.
• Un parallèle est un cercle imaginaire tracé sur
  le globe terrestre parallèle à léquateur et
  perpendiculaire aux méridiens.

19
SYSTEMES DE COORDONNEES GEOGRAPHIQUES

• Latitude valeur angulaire exprimant le
  positionnement nord-sud dun point sur la Terre
  par rapport au plan équatorial. Mesurée le long
  du méridien de la verticale du lieu au plan
  équatorial.
• Positive vers le Nord, Négative vers le Sud.
• Valeur entre -90 et 90.
• Longitude valeur angulaire exprimant le
  positionnement est-ouest dun point sur la Terre
  par rapport à un méridien origine. Mesurée le
  long dun parallèle, de la verticale du lieu au
  plan méridien dorigine.
• Positive vers lest, négative vers louest.
• Valeur entre -180 et 180.

20
SYSTEMES GEODESIQUES

• Systèmes géodésiques et ellipsoïdes associés
• Exemple coordonnées dun même point dans
  différents référentiels géodésiques

Système géodésique Ellipsoïde associée
NTF Clarke 1880 IGN
ED50 Hayford 1909
WGS84 IAG GRS 1980
Système géodésique Longitude Latitude
NTF Greenwich 7 44 14 4836 00
ED50 Greenwich 7 44 16.4 48 36 03
WGS84 Greenwich 7 44 12.2 48 35 59
21
SYSTEMES DE COORDONNEES PROJETEES

• Différents types de projection
• Projection cylindrique (ex Mercator)
• Projection conique (ex Lambert)
• Projection azimutale

22
NIVEAUX DE REFERENCE VERTICALE

• Il existe de nombreuses références
• Zéro IGN
• Zéro hydrographique (niveau des plus basses mers)
• Altitude (hauteur par rapport au géoïde)
• Hauteur ellipsoïdale (hauteur par rapport à
  lellipsoïde)

Zéro Hydro
23
COORDONNEE TEMPORELLE

• Le Temps Universel (TU) est une mesure du temps
  basée sur la rotation de la Terre. Peut être
  défini (avec quelques imprécisions) comme le
  temps Local de Greenwich, UK, au meridien zéro.
• Le Temps Local est déterminée à partir du TU et
  est fonction de la localisation.
• France hiver TU 1, été TU 2
• Le Temps Universel Coordonnée (UTC) est léchelle
  de temps adoptée comme base du temps civil
  international. Cest la référence employée sur
  les navires Ifremer/Genavir.

24
BASES DE DONNEES

• Une base de données est un ensemble structuré et
  organisé permettant le stockage de grandes
  quantités dinformations afin den faciliter
  lexploitation (ajout, mise à jour, recherche).
  Une BD se traduit physiquement par un ensemble de
  fichiers sur disque.
• La gestion et laccès à une base de données sont
  assurés par une ensemble de programme qui
  constituent le système de gestion de base de
  données.
• Ex Oracle, Microsoft Access, MySQL, SQL Server,
  etc.

25
BASES DE DONNEES

• Base de données hiérarchique base de données
  dont les enregistrements sont stockés dans une
  structure arborescence où chaque enregistrement
  na quun seul possesseur. (obsolète)
• Base de données relationnelle base de données
  dont les données sont stockées dans des tables
  que lon peut mettre en relation.
• Bases de données spécifiques
• Base de données géographiques

26
BASES DE DONNEES

• Interrogation et manipulation dune base de
  données
• langage informatique
• Ex SQL Structured Query Language
• Select nom from client where entrepriseIFREMER
  
• interfaces
• Ex Microsoft Access, ArcMap (SIG)

27
SYSTEME DINFORMATIONS

• Ensemble des éléments/moyens (organisations,
  acteurs, procédures, systèmes informatiques)
  participant à la gestion, au stockage, au
  traitement, au transport et à la diffusion de
  linformation. Le système reçoit et centralise
  des informations provenant de différentes
  sources. Il les traite, les transforme, les
  stocke, les redistribue en fonction des besoins
  des utilisateurs.

28
DE LACQUISITION A LEXPLOITATION
Temps Réel
T. Différé
29
CONTRÔLE QUALITE
30
CONTRÔLE QUALITE

• Objectifs
• Documenter les données et formats pour quils
  soient utilisables
• Trouver déventuelles anomalies bloquant les
  traitements ultérieurs
• Rendre les données de différentes sources
  cohérentes et comparables
• Méthodologie
• Contrôles qualité automatiques et visuels
  assistés par des systèmes experts métadonnées et
  données
• Résultat
• Un indicateur de qualité (flag) est attaché à
  chaque valeur numérique
• En cas danomalie
• Le fournisseur de données est contacté pour
  correction ou intervention sur les capteurs
  éventuelles ou élimination de la donnée

31
CONTRÔLE QUALITE

• Étapes du contrôle qualité
• Contrôles automatiques
• Bornes de valeurs (valeur impossible)
• Statistiques (valeur improbable)
• Danger dexclure un phénomène inattendu
• Recherche de doublons
• Contrôles manuels Experts
• Apport humain (connaissance du sujet)
• Impliquent souvent la création de graphiques
• Utilisations de flags
• Il ne faut jamais effacer une donnée, il se peut
  que ce soit notre interprétation de la réalité
  qui soit fausse
• Complétude des données, cohérence des données,
  détection des erreurs et des biais, vérification
  des références spatiales et temporelles

32
TRAITEMENTS
33
NIVEAUX DE TRAITEMENT

• Niveau instrumental, niveau physique Ce sont en
  général les niveaux de production des  données
  brutes , en sortie des systèmes dacquisition
• mesure instrumentale (niveau lt 1)
• mesure physique (niveau lt 2)

Ex mesure de la profondeur 1/ Temps de
propagation A/R dune onde émise par un sondeur
et qui se réfléchit sur le fond 2/ Hauteur deau
H V x T/2 V vitesse du son dans leau
H
34
NIVEAUX DE TRAITEMENT

• Niveau  géophysique  (gt2)
• La mesure physique est corrigée des variations
• liées à la plateforme de mesure et à ses
  mouvements (pilonnement du bateau par exemple
  dH1)
• liées au milieu naturel (la marée par ex. dH2)

H V x T/2 Profondeur H dH1Sonde
Profondeur dH2
35
NIVEAUX DE TRAITEMENT

• Niveau  produit  (gt3) Données interprétées
  modèle maillé , cartes, isolignes

Ex Modèle numérique de terrain (MNT)
Sélection des sondes SX,Y
SX,Y
Si,j
Affectation des sondes aux nœuds (i,j) du modèle
2720
Si,j f (SX,Y)
36
NIVEAUX DE TRAITEMENT

• Niveau  produit 

Isobathes
37
STOCKAGE DES DONNEES
38
STOCKAGE DES DONNEES

• Une fois que les données ont été qualifiées et
  traitées elles vont enfin pouvoir être archivées.
• Différentes méthodes en fonction du volume des
  données et du type des données
• Archivage dans une base de données
• Archivage sous forme de fichiers sur disque
• Dans ce cas, les méta-données sont archivées dans
  une base de données
• Notamment le nom et ladresse des fichiers
• La description des données archivées
• Date, heure, position, responsable, campagne de
  collecte ..

39
SUPPORTS INFORMATIQUES
40
Quelques exemples de tailles de fichiers

• Un livre de poche
• 100 caractères/ligne 100 lignes 200 pages
  environ 2Mo
• une photo numérique (non compressée TIFF)
• 6 millions de pixels environ 18Mo
• une photo numérique (compressée JPEG)
• 6 millions de pixels environ 200 Ko
• Campagne SISMANTILLES sur lATALANTE en 2007
  (durée 1 mois)
• 200 Mo de données dADCP (courantomètres)
• 500 Go de données de sismiques
• Rappel 1 Go 1000 Mo 1 000 000 Ko 109
  octets

41
SUPPORTS INFORMATIQUES

• Disques durs
• Enregistrement permanent (sauf panne, nécessité
  de sauvegarde)
• Informations organisées en fichiers et
  répertoires
• Accès direct à linformation
• Tailles courantes de 40Go à 260Go (jusquà
  1024Go sur disques haut de gamme  serveur )

42
SUPPORTS INFORMATIQUES

• Supports  bandes magnétiques  (Robot
  darchivage)
• Grandes capacités
• Supports souvent utilisés pour de larchivage de
  longue durée
• Supports également utilisés pour les sauvegardes
  des disques durs
• Pas daccès direct il faut dérouler la bande
  pour atteindre les informations
• Actuellement Super DLT (160Go), LTO-4 (800Go)

43
SUPPORTS INFORMATIQUES

• Autres supports
• CD/ROM, DVD/ROM
• comparable à un disque dur (organisation)
• Tailles de 700Mo (CD) à 9Go (DVD)
• Clé USB
• Cartes mémoires
• Disquettes, cassettes Exabyte (obsolètes)

44
FORMATS DE FICHIERS
45
FORMATS DE FICHIERS

• On distingue deux types de fichiers
• Les fichiers Texte
• Définition fichier dont le contenu représente
  uniquement une suite de caractères informatiques.
  ex. .txt
• Souvre avec un simple éditeur de texte
  (bloc-notes).
• Il existe des fichiers textes formatés (.csv,
  .html).
• Les fichiers Binaires
• Définition fichier informatique qui nest pas
  assimilable à un fichier texte.
• Pas directement lisible par un être humain,
  nécessité dutiliser un logiciel spécifique.
• Exemples fichiers images (jpeg), fichiers de
  musique (mp3).

46
FORMATS DE FICHIERS

• Avantages des fichiers binaires
• Très compacts pour des données très volumineuses
• Rapides pour les calculs et les écritures sur
  disque
• Désavantages des fichiers binaires
• Pas directement lisible par un être humain
  (logiciel spécifique)

47
FORMATS DE FICHIERS

• Formats auto-descriptifs (texte ou binaire)
• En-tête décrivant le contenu du fichier et
  listant quelques métadonnées pouvant servir à
  lutilisation du fichier.
• Exemples
• MEDATLAS (ASCII auto-descriptif) utilisé pour les
  données de profils verticaux (paramètre de
  référence Pression) ou de séries temporelles
  (paramètre de référence Date/Heure)
• NETCDF Network Common Data Form (Binaire
  auto-descriptif)

48
DIFFUSION DES DONNEES
49
REGLES DE DIFFUSION

• Accord formel entre les partenaires qui échangent
  leurs données
• Décrire les droits et les obligations
• Du fournisseur (limite dutilisation, validité)
• Du bénéficiaire des données (citation,
  reconnaissance)
• Considérations à prendre en compte
• Données du domaine public ou privé
• Respect de la confidentialité

50
NORMALISATION - STANDARDISATION

• Normes pour les métadonnées
• Données dobservations de la terre
• Norme ISO 19115
• Description dobjets géographiques
• Norme OpenGIS GML
• ISO (International standard Organization)
• Standardisation des procédures de contrôles
  qualité, des formats de données, etc

51
CATALOGUES EXISTANTS
52
CATALOGUES

• Point important dans la diffusion ou laccès aux
  données linformation sur les données
  disponibles.
• Moyen possible CATALOGUE.
• Un catalogue doit permettre de savoir quelles
  sont les données disponibles, den apprécier la
  teneur et les usages possibles.
• Description suffisante des données et de leurs
  usages potentiels, de leur qualité, de leurs
  couvertures géographiques, de leurs conditions de
  diffusion.
• Accès aux données

53
QUELQUES CATALOGUES EXISTANTS - FRANCE

• Le catalogue des campagnes françaises
• Campagnes qui se sont déroulées sur les navires
  français ou en coopération sur des navires
  étrangers.
• Contient actuellement plus de 6 700 campagnes et
  s'enrichit chaque année.
• Organismes français impliqués dans la gestion des
  navires français (maîtres d'œuvre) l'Ifremer,
  l'IRD, le CNRS/INSU, l'IPEV.

54
QUELQUES CATALOGUES EXISTANTS - FRANCE
55
QUELQUES CATALOGUES EXISTANTS - FRANCE
56
(No Transcript)
57
QUELQUES CATALOGUES EXISTANTS - FRANCE

• Le catalogue des jeux de données français
• Descriptifs des données collectées par les 
  laboratoires de la communauté scientifique
  française.
• 350 jeux de données marines collectées par 78 
  laboratoires de la communauté scientifique
  française ou d'intérêt général.
• Tous les domaines de l'océanographie y sont
  représentés biologie, physique, géologie,
  géophysique et chimie marines.   

58
QUELQUES CATALOGUES EXISTANTS - FRANCE
59
QUELQUES CATALOGUES EXISTANTS - FRANCE
60
(No Transcript)
61
QUELQUES CATALOGUES EXISTANTS - EUROPE

• Initiatives européennes
• Catalogue CSR (Cruise Summary Report)
• Catalogue des campagnes européennes
• Catalogue EDMED (European Directory pf Marine
  Environmental Data)
• Catalogue des jeux de données européens
• Catalogue CDI (Common Data Index)
• Catalogue des données européennes
• Projets Sea-Search et SeaDataNet
• www.sea-search.net et www.seadatanet.org
• Projet EUROSEISMIC
• http//www.eu-seased.net/welcome_flash.html
• Autres projets, autres catalogues

62
QUELQUES CATALOGUES EXISTANTS - EUROPE

• EUROSEISMIC catalogue européen de données de
  sismique sur les marges des Mers d'Europe
• http//www.eu-seased.net/welcome_flash.html

63
QUELQUES CATALOGUES EXISTANTS - EUROPE
64
PRODUCTEURS DE DONNEES
65
PRODUCTEURS NATIONAUX

• PRODUCTEURS INSTITUTIONNELS
• BRGM géologie
• CETMEF houle, vagues, courrents
• IFREMER
• Recueil des campagnes océanographiques françaises
  physique, chimie, géophysique, géologie
  (SISMER), biologie, photo et vidéo sous-marines
  réseaux de surveillance de l environnement,
  Syst. Information Halieutique, Océanographie
  Spatiale (CERSAT)
• IPG géophysique
• IRSN physique, chimie
• IGN géographie physique (relief, trait de côte)
• METEO France,
• MINISTERE DE LEQUIPEMENT bathymétrie,
  physique, chimie
• MNHN physique, chimie, géologie, biologie
• SHOM bathymétrie, géophysique, physique,
  données de référence

66
PRODUCTEURS NATIONAUX

• RECHERCHE PUBLIQUE
• CEA, IRD, CNRS, ENS ET UNIVERSITES
• SCIENCES et TECHNOLOGIES DE LILLE 1
• AIX-MARSEILLE 3
• BORDEAUX I
• UBO
• MEDITERRANNEE (U2)
• MONTPELLIER II
• NICE SOPHIA ANTIPOLIS
• PARIS VI
• PARIS VII
• PERPIGNAN
• UNIVERSITE LOUIS PASTEUR STRASBOURG I

67
PRODUCTEURS NATIONAUX

• AUTRES STATUTS
• BGI Bureau Gravimétrique International (CNRS)
• CENTRE DE RECHERCHE MAMMIFERES MARINS
• INSTITUT OCEANOGRAPHIQUE, FONDATION ALBERT 1ER,
  P. DE MONACO
• CENTRE SCIENTIFIQUE DE MONACO
• UNIVERSITE INTERNATIONALE DE LA MER

68
QUESTIONS?