Supercomputadoras

1
Supercomputadoras
Division fundamental entre estilos de
supercomputadoras
2
Ejemplos de clusters (1)

• Columbia / Nasa
• Arquitectura híbrida (SGI)
• 10,240 Intel ItaniumRMk 2 processors
• 20 clusters de 512 procs
• Cada cluster comparte memoria
• Entre los clusters conexión infiniband
• Storage Online 440 terabytes of Fibre Channel
  RAID storage
• Archive storage capacity 10 petabytes

3
Ejemplos de clusters (2)

• Cray Opteron Cluster / Nasa
• 64 nodos (dual processor)
• Arquitectura Master/Slave
• 1 head-node/front-end 63 compute-nodes
• 130 GB total memory
• Myrinet
• Storage 2300Gb
• SuSE LinuxRMk

4
Ejemplos de clusters (3)

• Jaguar / Nasa
• Cray XT - 11,708 procesadores en total
• 2.6Ghz Opteron dual core
• División entre service node y compute node
• 130 GB total memory
• Myrinet
• Storage 600 TB c/ Lustre file system
• UNICOS/lc (Linux en service nodes y Catamount
  microkernel on the compute nodes)

5
Interconexión (1)

• Basados en cobre
• Hub (viejito, problemas con colisiones)
• Switch 10
• Fast ethernet (100Mbps)
• Gigabit ethernet (1Gbps, ojo con PCI)
• 10G (IEEE 802.3ae, solo fibra y full duplex)

6
Interconexión (2)

• Quadrics
• Latencia de 3us (según ellos)
• 1Gbs de ancho de banda pico, 900Mbs sostenido.
• Funciona parecido con todas las plataformas de
  procesadores
• Tiene versiones propietarias optimizadas de MPI
• Los módulos para Linux precompilados solo estan
  Suse y Redhat (algo que se repite en muchos otros
  lugares).

7
Interconexión (3)

• Mirynet
• Es un ANSI(American National Standards Institute)
  Standard -- ANSI/VITA 26-1998.
• The link and routing specifications are public,
  published, and open.
• Myri-10G es compatible con 10G Ethernet
• Myrinet-2000 es el producto específico de
  clusters
• 2Gbs - Conectores de fibra. 2.6µs3.2µs de
  latencia.
• TCP 1.98 Gbits/s (one-port NICs)
• MPI implementado sobre mensajería propietaria

8
Interconexión (4)

• Infiniband
• Surgió como alternativa a las anteriores
  propietarias.
• Consorcio de empresas que definieron un standard

9
Interconexión (5)

• Infiniband
• Baja latencia (entre 1.3 y 2.6 usecs, según
  producto).
• Posibilidad de redundancia
• Alta escalabilidad
• HCA host channel adapter (c/procesador)
• TCA target channel adapter (c/periférico)
• In-Band A term assigned to administration
  activities traversing the IB connectivity only.
• Out-of-Band A term assigned to administration
  activities extending outside the IB connectivity
  (Ethernet or I2C).
• No hay un standard en software, cada empresa
  ofrece su stack o su implementación de MPI.
• La administración intenta ser más standard, pero
  no es nada trivial.

10
Detallecitos

• HVAC Heating, Ventilating and Air Conditioning
• Alimentación Eléctrica
• Si la probabilidad de falla de un nodo es 0.01 y
  tenemos 100 nodos Cual es la prob de falla de
  alguno en el día?
• Si en la probabilidad de falla, agregamos algún
  componente de software
• NECESITAMOS AL MENOS UN ESCLAVO QUE ATIENDA AL
  BICHO

11
Software para cluster

• A manopla con pocos nodos, solo hace falta
  configurar un NFS, un NIS y hacer el intercambio
  de passwords.
• Cuando la cantidad de nodos empieza a ser
  considerable, se necesita más soporte de parte
  del SO para que el Administrador pueda ir al baño
  de vez en cuando.
• Funciones necesarias
• Sistemas de archivos de cluster (NFS tiene
  problemas de escalabilidad)
• Sistema de colas para políticas de uso de
  recursos
• Monitoreo de funcionamiento y reporte de uso.
• Accounting para poder cobrar tiempo de uso o para
  reportar sobre proyectos llevándose adelante.
• Soporte para actualización de software de manera
  placentera.

12
Software para cluster (2)

• Beowulf
• Es una receta para tener un cluster de tipo
  standard
• Se basa en commodity hardware
• Software open source
• Oscar
• Open Source Cluster Application Resources
• Se basa en distribuciones conocidas (Fedora, Red
  hat enterprise, Mandriva, Suse, Scientific,
  CentOS)
• Sin demasiada experiencia se instala un cluster y
  se lo puede mantener razonablemente bien
• Rocks
• Similar a Oscar
• Tiene soporte para Grid.
• Se basa en CentOS
• Hay rolls para muchos targets de clusters

13
Software para cluster (3)

• Microsoft
• Hace un tiempo decidió entrar en el mercado
  científico.
• No solo es por el potencial mercado de licencias,
  sino por una cuestión de marketing
• Desarrolló un producto similar a la contraparte
  OS (Microsoft Compute Cluster Pack, o algo así)
• Se basa en el Microsoft 2003 Server
• Tiene una interface MUY linda
• Sufrimos muchos problemas para instalar y para
  debugear problemas en el uso (los mismos
  problemas que tiene un administrador MS solo que
  más críticos).
• Está usando toda la maquinaría de MS para imponer
  de a poco su producto.