Profesor Responsable: Equipo de Ctedra:

1

C. Distribuida
C. Paralela
Cátedra Sistemas Distribuidos y Paralelismo- 2007

• Profesor Responsable Equipo de
  Cátedra
• Dra. Marcela Printista Lic. Cristian
  Tissera

2
SISTEMAS DISTRIBUIDOS Y PARALELOS

• UNIDAD Nro. 1 Sistemas Distribuidos y Paralelos-
  Hardware y Software.
• Introducción
• Comparación entre Computación Distribuida y
  Paralela
• Clasificación de FLYNN.
• MIMD Clasificación.
• Topologías de Interconexión
• Práctico nro. 1 (Aula)

3
Computadora Convencional

• Un único procesador
• resuelve todas las tareas

4
Motivaciones
Sistemas de predicción del tiempo
Superficie de EEUU y Canada 20.000.000
km2 Altitud 20 km
0.1 Km
20 M Km2 20 km 400 M Km3 400 M Km3 103
cubos / Km3 4 1011 puntos de observ. ? 4
10 11 100 4 1013 cálculos
20 Km
0.1 Km
0.1 Km
Tomar una observación 100 pasos de cómputo
1 Km3 1000 cubos
5
Motivaciones

• Sistemas de predicción del tiempo del Area de
  EEUU y Canadá para los próximos 2 días
• Para predecir 1 hora 4 1013 cálculos x 48
  horas ? 2 x 10 15 cálculos
• Con un solo procesador que pueda ejecutar 1
  billón de cálculos por seg (109) tomará aprox.
• 2 x 1015 calc./109 calc.por seg 2 x 106 segs

6
Motivaciones

• Encontrar una solución más precisa en una
  cantidad
• razonable de tiempo

Problema de los N-Cuerpos en el espacio La
determinación de cada nuevo movimiento tiene
complejidad N2
7
Motivaciones
Visualización
Video remoto
8
Motivaciones

• Demandas de Mayor
• Poder de computación (Vel., capacidad)
• Mayor flexibilidad (compartición, acceso remoto))

9
Computadoras Conectadas

• Múltiples procesadores resuelven todas las
  tareas

10
INTRODUCCIÓN

• Tecnología de los Microprocesadores (80)
• Tecnología de las Comunicaciones
• __________________________________
• SISTEMAS DISTRIBUIDOS

11

Motivaciones
Incremento significativo de performance Procs.
Tiempo Velocidad 1 t1
Th1 2 t1 /2 2 Th1
N t1 /N N Th1
12
Motivaciones Grand Challenge Problems

• Modelado y Predicción del clima
• Problemas de astrofísica
• Biología computacional
• Base de datos geográficas
• Modelados de Fluidos
• Contaminación- Predicción de incendios-inundacione
  s de gran escala

13
VENTAJAS

• Velocidad Un sistema distribuido puede
  alcanzar mayor poder de computación que una
  única máquina
• Confiabilidad Si una máquina cae, el sistema
  aún puede continuar en operación
• Compartición de datos Admitir que varios
  usuarios accedan a base de datos comunes
• Compartición de dispositivos Admitir que varios
  usuarios accedan a recursos escasos o caros
• Comunicación Permitir una sencilla
  comunicación human-human
• Flexibilidad Distribuir la carga de trabajo
  entre las máquinas disponibles

14
Sistemas de Alta Performance

• SISTEMAS PARALELOS el objetivo es alcanzar
  máximo speedup en resolver un problema
• SISTEMAS DISTRIBUIDOS el objetivo es permitir
  que varios usuarios trabajen en forma cooperativa

15
S. Paralelos vs. S. Distribuidos

• Tienen propiedades que los diferencia
• C. Paralelas dividen una aplicación en tareas que
  son ejecutadas al mismo tiempo
• C. Distribuidas dividen una aplicación en tareas
  que son ejecutadas en diferentes ubicaciones
  usando diferentes recursos

16
Computaciones Paralelas

• Enfatiza en los siguientes aspectos
• Una aplicación es dividida en subtareas que son
  resueltas simultáneamente (generalmente en forma
  fuertemente acopladas)
• Una aplicación es considera a la vez y el
  objetivo es la velocidad de procesamiento de esta
  única aplicación
• Los programas ejecutan en arquitecturas
  homogéneas

17
Computaciones Distribuidas

• Enfatiza en los siguientes aspectos
• La computación usa múltiples recursos que están
  situados físicamente dispersos
• En un sistema distribuido se corren múltiples
  aplicaciones a la vez. Las aplicaciones pueden
  pertenecer a diferentes usuarios
• Un sistema distribuido es a menudo heterogéneo
• Un sistema distribuido no tiene una memoria
  compartida, al menos a nivel de hardware

18
S. Paralelos vs. S. Distribuidos

• Sin embargo, tienen muchas características
  comunes
• Múltiples procesadores
• Los procesadores están interconectados por alguna
  red
• Múltiples procesos (actividades computacionales)
  están en progreso al mismo tiempo y cooperan unos
  con otros (el problema es dividido en partes y
  cada parte es ejecutada por un procesador
  diferente)

19
S. Paralelos vs. S. Distribuidos

• Desde los medidos de los 90 se ha incrementado
  la convergencia de ambas áreas
• Las áreas incrementalmente usan las mismas
  arquitecturas
• Muchos aspectos de paralelismo y distribución son
  intercambiables o comunes e incrementalmente han
  comenzado a ser investigados juntos
• Los congresos (meetings) de investigación y los
  institutos hoy reunen ambos tópicos

20
S. Paralelos vs. S. Distribuidos

• La computación paralela y distribuida está
  relacionada a la unión de ambos campos
• Sin embargo en esta materia nos abocaremos (en la
  mayor parte del programa) a la intersección de
  ambos campos

21
S. Paralelos vs. S. Distribuidos

22
Aspectos de Hardware

• Clasificación de Flynn (1966)
• SISD único flujo de instrucciones aplicado a un
  único flujo de datos
• SIMD único flujo de instrucciones aplicado a
  múltiples flujos de datos
• MIMD múltiples flujos de instrucciones
• aplicado a múltiples flujos de datos

23
SISD

• Todas las computadoras con un único procesador,
  desde computadoras personales hasta grandes
  mainframe
• Los procesadores pipeline, se denominan SISD
  confluentes.

24
SISD

• En estas máquinas se tiene un grado de
  concurrencia importante
• Multiplicidad de unidades funcionales
• Canales de I/0
• DMA (y robo de ciclo)
• Pipeline de instrucción y de ejecución
• Técnicas de prefetching,
• Técnicas de memoria entrelazada (múltiples
  módulos de memoria)

25
SIMD

• Un único procesador central (funcionalidad
  completa) y múltiples procesadores elementales
  (fetch de datos, ejecución, enmascaramiento)
• Procesadores de arreglos

26
SIMD

• Característica principal
• SINCRONISMO

27
MIMD

• Característica principal ASINCRONISMO

28
MIMD
29
Sistemas de Multiprocesadores de Memoria
Compartida
Módulos de Memoria

• Múltiples procesadores
• conectados a múltiples
• módulos de memoria
• Espacio de direcciones de memoria único

Red de interconexión
Procesadores
30
Multiprocesador de Memoria Distribuida (Pasaje
de Mensajes)

• Múltiples procesadores
• conectados por una red de interconexión
• Espacio de direcciones de memoria no compartido

Red de Interconexión
Mensajes
Procesadores
Memorias
Computadora
Computadora
31
MIMD
Arquitecturas Paralelas
Memoria Distribuida
Memoria Compartida
SMP
32
Sistemas de Computadoras con Múltiples
Procesadores
Symmetric Multi-Processing (SMP) Máquinas
Masivamente Paralelas (MPP) Computación
Distribuida Redes de Workstations Clusters de
Computadoras Multiclusters Grids
33

Thinking Machine CM-5
N-258 NAS Parallel Processors, Thinking Machine
CM-5 (1993)
SIMD
34
Symmetric Multi-Processing
El usuario no advierte la naturaleza paralela de
la máquina. Es el sistema operativo quien
administra la asignación del tiempo de CPU a los
programas. En este caso dispone de mas de un
procesador para realizar el scheduling.
MIMD- Memoria Compartida
35
Massively Parallel Processing
Varios procesadores conectados con una red de
interconexión rápida y soporte de hardware
adicional. La memoria de una MPP es completamente
distribuida, cada procesador es autocontenido con
su propia cache y chips de memoria.
MIMD Memoria Distribuida
36
Network of Workstations
MIMD- Memoria Distribuida
37
CLUSTER (40 PC)
MIMD Memoria Distribuida
38
SGI Origin 2000
(Non UMA)
MIMD Memoria Distribuida-Compartida
39
MIMD

• Topologías de Interconexión

40
Topologías de Inteconexión
MIMD
Memoria Distribuida (privada)
Memoria Compartida
41
Topologías- M. Compartida

• Arquitecturas basadas en bus
• Existe saturación del bus
• Performance limitada al bandwidth del bus
• Coherencia Cache
• Arquitecturas basadas en switch
• Puede ser visualizada como un grilla de cables,
  con switches en las intersecciones y Procesadores
  y Memorias en los terminales
• La única restricción para establecer
  comunicación es que los elementos que se quieren
  comunicar esten disponibles
• Max concurrencia MIN(M,P)
• Muy Cara

42
Topologías- M. Distribuida
Maq.i
Maq.j

• Redes basadas en Bus
• Muy sencilla
• No escalable
• Redes de interconección Dinámica
• Redes de Switching Multistages
• Redes de interconección Estática

43
Topologías de interconexión Estáticas
Única línea
44
Topologías de interconexión Estáticas
Hipercubo tridimensional
Anillo
Totalmente conectada
45
Topologías de interconexión Estáticas
Grilla
Torus