Wyklad 15 Formaty Danych Meteorologicznych

1
Wyklad 15Formaty Danych Meteorologicznych

• Krzysztof Markowicz
• kmark_at_igf.fuw.edu.pl

2
Formaty danych metrologicznych

• Zapisywanie danych meteorologicznych obejmujacych
  dane synoptyczne, klimatyczne, satelitarne czy
  tez wyniki obliczen numerycznych prognoz pogody w
  odpowiednim formacie stanowi zasadnicza kwestia w
  sensie ich przesylania, archiwizacji i budowy baz
  danych z mozliwoscia dostepu dla uzytkowników.
• Niestety nie stanieje zaden standardowy format, w
  którym zapisywane bylby wyzej wspominane dane.
• Dlatego tez czytanie danych meteorologicznych
  wymaga niejednokrotnie uzywania specjalnych
  programów, które zaleza od systemów operacyjnych
  i rodzajów uzywanych komputerów.

3
Pliki tekstowe i binarne

• Rozrózniamy dwa rodzaje plików tekstowe i
  binarne. Nazwy sa troche mylace, bo wszystkie
  pliki sa binarne, czyli ,,zero-jedynkowe''.
• Jednak pliki tekstowe zajmuja wsród nich
  wyrózniona pozycje, sposób ich odczytywania jest
  bowiem najbardziej rozpowszechnionym Znajduja sie
  w nich litery, zamienione na bity.
• Zapisany w ten sposób plik mozna odczytac na
  dowolnym komputerze, niezaleznie od systemu
  operacyjnego itp. W dodatku ,,odczytac'' mozemy
  tu rozumiec doslownie, gdyz po zamianie bitów na
  litery (czyli wyswietleniu pliku ASCII) pojawia
  sie tekst, zwykle zrozumialy dla czlowieka.
• Ogólnie, pliki binarne to wszystkie pliki
  nietekstowe. Moga zawierac obrazy, lub dowolne
  dane. Jesli zapisano je w jednym z ogólnie
  przyjetych standardów to zwykle daje sie je
  odczytac na wiekszosci komputerów, jesli tylko
  zainstalowano na nich odpowiednie programy. To
  jednak znacznie komplikuje i utrudnia zadanie
  uzytkownikom którzy zajmuja sie analiza tego typu
  danych

4
Hierarchical Data Format- HDF

• HDF jest biblioteka oraz wielowymiarowym formatem
  plików uzywanym do przesylania danych w postaci
  graficznej oraz numerycznej po miedzy
  komputerami.
• Format HDF zawiera kilka modulów danych
  wielowymiarowe macierze, grafike rastowa oraz
  tablice. Kazdy z nich zawiera zespól zmiennych,
  które moga byc zapisywane, czytane oraz dodawane
  przez uzytkownika
• Format HDF jest samoopisujacy sie co oznacza, ze
  czytajac plik z danymi nie musimy posiadac zadnej
  informacji o strukturze pliku.
• Pliki w formacie HDF moga byc wymieniane pomiedzy
  wiekszoscia komputerów i systemów operacyjnych. Z
  czym nie radzi sobie wiekszosc formatów
  binarnych.
• Format HDF uzywany jest najczesciej dla danych
  satelitarnych

5
GRIB (GRIdded Binary)

• To matematyczny format uzywany na potrzeby
  meteorologii do archiwizowania danych
  historycznych oraz numerycznych prognoz pogody
• GRIP jest formatem standardowym zaakceptowanym
  przez World Meteorological Organization jakos
  GRIB FM 92-IX, opisany w raporach WMO (Manual on
  Codes No.306).
• Obecnie funkcjonuja dwie wersje GRIB-ow
• Edycja pierwsza GRIB-ow jest szeroko uzywana
  przez centra meteorologiczne na potrzeby
  numerycznych prognoz pogody
• Nowej generacji (druga edycja) nie jest uzywana
  tak powszechnie. Wyjatkiem jest Eumetcast, gdzie
  w GRIBAch zapisuje sie produkty zwiazane z
  Meteosatem drugiej generacji (Meteosat Second
  Generation)

6
NetCDF (Network Common Data Form Cechy Formatu
NetCDF

• samo-opisujacy sie (plik netCDF zawiera
  informacje o zawartych w nim danych).
• niezalezny od architektury komputera
• bezposredni dostep do danych (dowolna czesc
  danych moze byc efektywnie czytana bez
  wczesniejszego czytania poprzedzajacy danych)
• dane moga byc dopisywane do pliku w jednym
  wymiarze bez przedefiniowania struktury pliku.
• istnieje mozliwosc zmiany struktury pliku oraz
  kopiowanie innych ustawien
• równoczesna dostepnosc do pliku przez osobe
  zapisujaca dane jak i uzytkowników czytajac do

7

• jezyki w jakich napisane zostaly biblioteki
  NetCDF
• C
• C
• Fortran
• Perl
• Jave
• niektóre programy sluzace do czytania plików
  NetCDF
• IDL Interface
• MATLAB
• NCAR Graphics
• FERRET
• GrADS
•  HDF Interface

8
Struktura pliku NetCDF

• a) header - czesc opisujaca zmienne zawierajaca
  informacje o 
• wymiarach
• atrybutach
• zmiennych
• b) sekcja danych - zawiera wlasciwe dane o
• ograniczonych wymiarach
• nieograniczonym (jednym) wymiarze
• c) typy zmiennych
• ncbyte 1 Byte
• ncchar 1 Byte
• ncshort 2 Byte
• ncint 4 Byte
• ncfloat 4 Byte
• ncdouble 8 Byte

9

• netcdf uwnd10m.mon.mean
• dimensions
• lon 192
• lat 94
• time UNLIMITED // (694 currently)
• variables
• float lat(lat)
• latunits "degrees_north"
• latactual_range 88.542f
  -88.542f
• latlong_name "Latitude"
• float lon(lon)
• lonunits "degrees_east"
• lonlong_name "Longitude"
• lonactual_range 0.f, 358.125f
  
• double time(time)
• timeunits "hours since 1-1-1
  00000.0"
• timelong_name "Time"
• timeactual_range 17067072.,
  17573304.
• timedelta_t "0000-01-00
  000000"

10

• float uwnd(time, lat, lon)
• uwndlong_name "Monthly Mean of
  U-Wind"
• uwndvalid_range -102.2f,
  102.2f
• uwndactual_range -13.76903f,
  14.4571f
• uwndunits "m/s"
• uwndadd_offset 0.f
• uwndscale_factor 1.f
• uwndmissing_value 32766s
• uwndprecision 2s
• uwndleast_significant_digit 1s
  
• uwndGRIB_id 11s
• uwndvar_desc "u-wind"
• uwnddataset "CDC Derived NCEP
  Reanalysis Products\n",
• "AC"
• uwndlevel_desc "10 m\n",
• "P"
• uwndstatistic "Mean\n",
• "M"
• uwndparent_stat "Individual
  Obs\n",

11

• // global attributes
• Conventions "COARDS"
• title "monthly mean u wind"
• history "renamevars Thu Feb 1
  094158 2001 from uwnd10m.mon.mean.nc\n",
• "Tue Jul 6 002154 1999 ncrcat
  uwnd10m.mon.mean.nc /Datasets/ncep.reanalysis.deri
  ved/surface_gauss/uwnd10m.mon.mean.nc
  /dm/dmwork/nmc.rean.ingest/combinedMMs/uwnd10m.mon
  .mean.nc\n",
• "created 97/10/04 by CAS (netCDF2.3)"
• description "Data is from NMC
  initialized reanalysis\n",
• "(4x/day). It consists of T62 variables
  interpolated to\n",
• "pressure surfaces from model (sigma)
  surfaces."
• platform "Model"

12
Sekcja danych

• lon 0, 1.875, 3.75, 5.625,
• lat 88.542, 86.6531, 84.7532, 82.8508,
• time 17067072, 17067816, 17068512, 17069256,
• uwnd -2.035805, -2.166451, -2.145482, -2.277421,
  -2.800644,

13
Kod SYNOP

• Format SYNOP jest miedzynarodowym formatem danych
  meteorologicznych uzywanym do ich transmisji w
  trybie rzeczywistym.
• Uzywany jest od ponad 50 lat.

• W kodzie SYNOP zawarte sa nastepujace grupy
  obserwacji
• Grupa 000 oznaczana numer stacji i lokalizacje
• Grupa 111 opisuje obserwacje nad ladem
• Grupa 222 opisuje pomiary powierzchni mórz i
  oceanów
• Grupa 333 zawiera dane klimatologiczne

14
Struktura formatu SYNOP

• IIiii lub IIIII YYGGi 99LLL QLLLL
• iihVV Nddff 00fff 1sTTT 2sTTT 3PPPP 4PPPP 5appp
  6RRRt 7wwWW 8NCCC 9GGgg
• 222Dv 0sTTT 1PPHH 2PPHH 3dddd 4PPHH 5PPHH 6IEER
  70HHH 8aTTT
• 333 0.... 1sTTT 2sTTT 3Ejjj 4Esss 5jjjj jjjjj
  6RRRt 7RRRR 8Nchh 9SSss

15
Inne formaty danych

• SHIP
• TEMP
• METAR, TAF, TEMP
• BOUY, AMDAR, AIREP.