Praca na klastrach i komupterach w centrach obliczeniowych

1
Praca na klastrach i komupterach w centrach
obliczeniowych

• Reguly pracy na serwerach obliczeniowych
• Zadania sa uruchamiane przez system kolejkowania
  lub (znacznie rzadziej) w systemie rezerwacji.
  Puszczanie zadan dluzszych niz parominutowe z
  reki jest niedopuszczalne.
• Kazdy uzytkownik ma przydzielona kwote (limit
  miejsca) na dysku/dyskach.
• Do celów biezacych obliczen mozna wykorzystywac
  dedykowane dyski stanowiace przestrzen
  scieralna (scratch space) pliki tam sie
  znajdujace sa usuwane przez system po czasie 1-7
  dni.
• Wieksze centra dysponuja systemami archiwizacji
  (MassStore), w których mozna skladowac starsze
  pliki. Dostep do tych archiwum jest wolniejszy
  niz do dysku.

2
Zasoby centrów obliczeniowych

• Komputery duzej mocy.
• Systemy plików.
• Systemy archiwizacji plików.
• Systemy wizualizacyjne.
• Interfejsy zarzadzania zadaniami.
• Hardwarde do realizacji uslug (www, ftp, itp.).
• Systemy zarzadzania zadaniami i plikami,
  kompilatory i biblioteki, oprogramowanie
  uzytkowe.
• Dostep do zasobów centrów jest na ogól zdalny.

3
Systemy operacyjne na serwerach obliczeniowych
Unix Linux, IRIX (SGI), SunOS (SUN), UNICOS
(CRAY) Windows (rzadko np. na klastrze
obliczeniowum w Cornell Theory Center) VMS (w
zasadzie juz nieobecny).
4
Systemy kolejkowania PBS (Portable Batch
System) najbardziej uniwersalny system
kolejkowania dostepny zarówno w wersji darmowej
jak i profesjonalnej. Zaprojektowany dla
klastrów linuxowych ale obecnie uzywany
wszedzie. LSF (Load Shearing Facility)
zaprojektowany dla serwerów SGI ale obecnie
uzywany wszedzie. LoadLeveler zaprojektowany dla
serwerów IBM. NQE (Network Queuing Enviroment)
zaprojektowany dla serwerów CRAY.
5
Uruchamianie zadan w systemie PBS
qsub opcje skrypt Wstawianie zadania do kolejki
qdel nr_zadania Usuwanie zadania z kolejki (jezeli zadanie juz chodzi jest zabijane)
qhold nr_zadania zatrzymywanie zadania czekajacego w kolejce takie zadanie jest w kolejce ale nie startuje do momentu uwolnienia.
qrls nr_zadania albo qhold r nr_zadania Uwolnienie zatrzymanego zadania.
qstat opcje qstat opcje nr_zadania Sprawdzanie stanu zadan w kolejce albo stanu konkretnego zadania.
6
Przyklad skryptu PBS uruchamianie programu AMBER
na klastrze piasek.chem.univ.gda.pl
PBS -N Mut58-Asp PBS -q long PBS -l
nodes2amd2800 set NPROCScat PBS_NODEFILE
wc -l cd PBS_O_WORKDIR mpirun -machinefile
PBS_NODEFILE -np NPROCS -nolocal
\ /users/amber/a80/amber8/exe/sander.mpi -O \
-i md.in \ -o 3md5.o \ -e 3md5.e
\ -c 2md5.r \ -p Mut58-Asp.top \
-r 3md5.r \ -x 3md5.x
7
PBS_NODEFILE zmienna srodowiskowa wskazujaca
na plik z nodami na których bedzie
chodzilo zadnie. PBS_O_WORKDIR zmienna
srodowiskowa wskazujaca na katalog roboczy
na którym bedzie chodzilo zadanie NPROCS l
iczba procesorów przydzielonych do zadania
8
Uruchamianie zadan w systemie LoadLeveler
llsubmit opcje skrypt Wstawianie zadania do kolejki
llcancel nr_zadania Usuwanie zadania z kolejki (jezeli zadanie juz chodzi jest zabijane)
llhold nr_zadania zatrzymywanie zadania czekajacego w kolejce takie zadanie jest w kolejce ale nie startuje do momentu uwolnienia.
llhold r nr_zadania Uwolnienie zatrzymanego zadania.
llstatus opcje llstatus opcje nr_zadania Sprawdzanie stanu zadan w kolejce albo stanu konkretnego zadania.
llclass Informacja o danych klasach zadan
9
Przyklad skryptu w systemie LoadLeveler
_at_ job_name ENH _at_ comment "BGL Job by
Shape" _at_ error (job_name).(jobid).out _at_
output (job_name).(jobid).out _at_ environment
COPY_ALL _at_ wall_clock_limit 240000 _at_
notification always _at_ notify_user epl010
_at_ job_type bluegene _at_ bg_connection TORUS
_at_ bg_size 512 _at_ executable
/usr/local/bin/mpirun _at_ arguments -exe
/bin/pwd/wait_bgl.rts \ -verbose 1 -args
"-t 15" _at_ queue
10
Programy do obliczen molekularnej mechaniki
kwantowej
GAMESS (ab initio i pólempiryka) http//www.msg.am
eslab.gov/GAMESS/ GAUSSIAN (ab initio i
pólempiryka) http//www.gaussian.com/g_ur/g03manto
p.htm MOPAC (pólempiryka) http//www.cachesoftware
.com/mopac/index.shtml
11
Programy do obliczen mechaniki i dynamiki
molekularnej
Minimalizacja energii, analiza drgan normalnych,
dynamika molekularna, dynamika z wiezami,
obliczenia termodynamiczne, QM/MM AMBER (pole
silowe AMBER) http//amber.scripps.edu/ CHARMM
(pole silowe Charmmxx) http//www.charmm.org/ GROM
OS i GROMACS (pole silowe GROMOS) http//www.igc.e
thz.ch/gromos/ http//www.gromacs.org/external/onl
ine-reference-manual.html XPLOR (pole silowe
Charmmxx) http//www.embl-heidelberg.de/nmr/xplor/
htmlman/ NAMD (dynamika molekularna pole silowe
Charmxx) http//www.ks.uiuc.edu/Research/namd/
12
Minimalizacja energii, optymalizacja
globalna ECEPPAK (pole silowe ECEPP/3) http//cbsu
.tc.cornell.edu/software/eceppak/ Dokowanie
ligandów do receptorów AUTODOCK http//autodock.sc
ripps.edu/ Skrócony opis programów po polsku ICM
Warszawa http//www.icm.edu.pl/kdm/Oprogramowanie
CI TASK Gdansk http//wiki.task.gda.pl/wiki/Kateg
oriaChemia
13
Pakiety zintegrowane Accelrys (mechanika i
dynamika molekularna, mechanika kwantowa, QM/MM,
modelowanie bialek) http//www.accelrys.com/ Schr
oedinger (mechanika kwantowa, QM/MM) http//www.sc
hrodinger.com/ TRIPOS (modelowanie
biomolekularne) http//www.tripos.com/