Anlisis de imgenes mdicas con modelos deformables

1
Análisis de imágenes médicascon modelos
deformables
Petia Radeva Computer Vision Center Universidad
Autonoma de Barcelona
2
Indice
Imágenes médicas Problemas de la Visión por
Computador en imágenes médicas Modelos
deformables Aplicaciones Reconstrucción 3D con
snakes estadísticos Reconstrucción 3D de vasos
coronarios a partir de angiografias
biplanas Reconstrucción 3D del vaso coronario a
partir de imágenes IVUS Análisis dinámico de
vasos coronarios Estimación de la deformación
local del corazón en imágenes SPAMM
3
Segmentación con modelos deformables (snakes)

• Snake - una curva continua elástica que a partir
  de una posición inicial se deforma para ajustarse
  al contorno del objeto
• Fuerzas externas atraen el snake hacia las
  características de la imagen
• Fuerzas internas evitan discontinuidades en la
  forma del snake

4
Curva que minimiza la energía
Snake - una curva elástica con asociada
energía Potencial - una superrficie P(x,y)
con valles correspondientes a las
características de la imagen Fuerzas externas
atraen el snake hacia los valles del potencial
5
Curva que minimiza la energía
Internal forces penalise stretching and bending
Initial snake, deforming snake and stabilised
snake
6
Taxonomia de snakes
Modelo
Imagen
Deformacion

• Restricciones de
• suavidad
• PCA sobre las
• deformaciones
• Modos de
• vibracion
• Espacio de formas
• Kalman snakes

• Contornos
• Crestas
• Valles
• Regiones
• Color
• Caracteristicas
• estadisticas

1D, 2D, 3D, 4D - basado en puntos - elementos
finitos - splines - snakes geodesicos
7
Parameterizacion del modelo
8
Segmentacion con snakes geodesicos
9
Taxonomia de snakes
Modelo
Imagen
Deformacion

• Restricciones de
• suavidad
• PCA sobre las
• deformaciones
• Modos de
• vibracion
• Espacio de formas
• Kalman snakes

• Contornos
• Crestas
• Valles
• Regiones
• Color
• Caracteristicas
• estadisticas

1D, 2D, 3D, 4D - basado en puntos - elementos
finitos - splines - snakes geodesicos
10
Extracción de características de la imagen
11
Taxonomia de snakes
Modelo
Imagen
Deformacion

• Restricciones de
• suavidad
• PCA sobre las
• deformaciones
• Modos de
• vibracion
• Espacio de formas
• Kalman snakes

• Contornos
• Crestas
• Valles
• Regiones
• Color
• Caracteristicas
• estadisticas

1D, 2D, 3D, 4D - basado en puntos - elementos
finitos - splines - snakes geodesicos
12
FACE Deteccion de caras y caracteristicas faciales
13
Visión por Computador
13
14
Visión por Computador
14
15
Tracking con modos de vibración
Modos de vibración
16
Análisis de movimiento no rígido
17
Indice
Imágenes médicas Problemas de la Visión por
Computador en imágenes médicas Modelos
deformables Aplicaciones Reconstrucción 3D con
snakes estadísticos Reconstrucción 3D de vasos
coronarios a partir de angiografias
biplanas Reconstrucción 3D del vaso coronario a
partir de imágenes IVUS Análisis dinámico de
vasos coronarios Estimación de la deformación
local del corazón en imágenes SPAMM
18
Análisis de imágenes médicascon modelos
deformables

• Aparecen las imágenes 3D
• El nivel de gris define propiedades
• físicas o químicas
• Nuevo mercado

Display 3D de estructuras anatómicas extraídas a
partir de una imagen MRI
19
Algunos cortes de MRI 3D de la cabeza
20
Imágenes médicas de distintas modalidades (CT,
MRI, MNI, US, etc)
21
Nuevas necesidades médicas

• Visualización interactiva
• Cuantificación de forma, textura y movimiento
• Registración (puesta en correspondencia)
• Identificación
• Planificación, simulación y control

22
Nuevas propiedades de las imágenes

• Nuevas (3D) imágenes - son generalización de las
  imágenes 2D?!
• Medidas euclideas proporcionadas por el equipo de
  las imágenes médicas 3D
• Valores de nivel de gris intrínsecos -
  propiedades físicas y fisiológicas
• Alto grado de conocimiento a priori
• Mejor regularización de los datos 3D

23
Indice
Imágenes médicas Problemas de la Visión por
Computador en imágenes médicas Modelos
deformables Aplicaciones Reconstrucción 3D con
snakes estadísticos Reconstrucción 3D de vasos
coronarios a partir de angiografias
biplanas Reconstrucción 3D del vaso coronario a
partir de imágenes IVUS Análisis dinámico de
vasos coronarios Estimación de la deformación
local del corazón en imágenes SPAMM
24
Nuevos problemas de la Visión por Computador y la
Robótica

• Segmentación 3D
• Modelaje de formas 3D
• Puesta en correspondencia 3D
• Análisis de movimiento 3D
• Modelos físicos dinámicos
• Razonamiento geométrico
• Realidad virtual
• Robots dedicados a la medicina

25
Segmentación de imágenes 3D
Contornos 3D comparados con los contornos 2D
encontrados corte por corte
26
Topología digital y morfología matemática
Extracción de singularidades topológicas de la
superficie
27
Reconstrucción del interior del corazón usando
snakes
28
Segmentación basada en texturas
Corte de MRI al nivel del corazón y la
segmentación basada en texturas
29
Modelaje de superficies libres de forma
Extracción de puntos de cresta en imágenes de
cerebro
30
Modelaje de superficies libres de forma
Segmentación y crestas de cabeza parametrizada
con B-spline y reconstruida a partir de MRI
31
Algoritmo de matching
Crestas extraídas a partir de la reconstrucción y
el resultado del matching de las dos cabezas
32
Matching de un corte con imagen 3D
Matching de superficie extraída a partir de una
imagen 3D de CTI y curva extraída a partir de
imagen 2D
33
Matching de imágenes multimodales
34
Matching con modelos de atlas
35
Crestas en TC y valles en RM como marcadores
anatómicos

• Planos axial, coronal y sagital de TC y RM
  originales de alta resolución

36
Ejemplo de fusión de RM T1 con TC. Sobreponemos
el cráneo del volumen TC a RM. En la fila
inferior superficie de cresta TC sobre valle RM
37
Registración inter-paciente
38
Análisis de movimiento no rígido
39
Evolución espacio-temporal con modos de vibracion
40
Deformaciones libres de forma para el análisis
del movimiento local
41
Entorno de realidad virtual para operaciones
cráneo-faciales
42
Diseño de modelo elástico a partir de imagen 3D
43
Realidad aumentada
44
Realidad aumentada
45
Indice
Imágenes médicas Problemas de la Visión por
Computador en imágenes médicas Modelos
deformables Aplicaciones Reconstrucción 3D con
snakes estadísticos Reconstrucción 3D de vasos
coronarios a partir de angiografias
biplanas Reconstrucción 3D del vaso coronario a
partir de imágenes IVUS Análisis dinámico de
vasos coronarios Estimación de la deformación
local del corazón en imágenes SPAMM
46
Extracción de distintas características a partir
de imágenes CT
47
Desde el espacio de características de las
imágenes al espacio reducido de características
48
Mapa de distancia para las varias partes del
contorno sintético
49
Segmentación de MRI y CT
50
Segmentación del fémur en CT
51
Reconstrucción del fémur distal a partir de MRI
52
Reconstrucción de la aorta abdominal a partir de
IVUS
53
Indice
Imágenes médicas Problemas de la Visión por
Computador en imágenes médicas Modelos
deformables Aplicaciones Reconstrucción 3D con
snakes estadísticos Reconstrucción 3D de vasos
coronarios a partir de angiografias
biplanas Reconstrucción 3D del vaso coronario a
partir de imágenes IVUS Análisis dinámico de
vasos coronarios Estimación de la deformación
local del corazón en imágenes SPAMM
54

• Otras aplicaciones de snakes en
• imágenes médicas

Curvas elásticas espaciales. Cilindros
generalizados deformables
55
Importancia de un sistema automático para
analizar IVUS digital
56
Medidas 3D de los vasos a partir de una secuencia
de imágenes
Medidas volumétricas
Análisis morfologico del vaso
Medidas 3D reales
Necesidad de visualización y medidas
volumétricas
Análisis de IVUS
Estimacion del centro del vaso a partir de
angiografías biplanas
Fusión de imágenes
57
Vistas longitudinales y transversales
58
Importancia de la reconstrucción 3D
Efecto de la proyección perspectiva
Estimación espacial a partir de angiografías
biplanas
Los puntos equidistantes no son invariantes a la
proyección perspectiva
59
Segmentación con eigensnakes
Perfiles de aprendizaje y primer eigenvector
60
Segmentación con eigensnakes
(a) La derivada primera, (b) Datos de aprendizaje
61
Segmentación con eigensnakes
(a) Cluster de aprendizaje, (b) Proyección de la
imagen, (c) representación de las características
de aprendizaje en el espacio reducido de las
características
62
Segmentación con eigensnakes
Energía probabilística y deformación del snake
63
Características del sistema biplano
Angulación
Rotación
Ejes
64
Reconstrucción a partir de angiografías biplanas
La intersección de los rayos de proyección
determinan el punto 3D
65
Reconstrucción a partir de angiografías biplanas
Las lineas epipolares ayudan a determinar el
punto correspondiente en la otra imagen
En la práctica los rayos de proyección no se
intersectan
66
Reconstrucción a partir de angiografías biplanas
Las lineas epipolares ayudan a determinar el
punto correspondiente en la otra imagen
67
Reconstrucción a partir de angiografías biplanas
Deformación iterativa del snake en el espacio
68
Reconstrucción a partir de angiografías biplanas
69
Deformación del modelo y visualisación
interactiva para detectar el vaso
70
Calculando la longitud real del balloon con
modelos deformables
71
Indice
Imágenes médicas Problemas de la Visión por
Computador en imágenes médicas Modelos
deformables Aplicaciones Reconstrucción 3D con
snakes estadísticos Reconstrucción 3D de vasos
coronarios a partir de angiografias
biplanas Reconstrucción 3D del vaso coronario a
partir de imágenes IVUS Análisis dinámico de
vasos coronarios Estimación de la deformación
local del corazón en imágenes SPAMM
72
Los valles de la imagen caracterizan los límites
del vaso
Análisis de IVUS con snakes
Imagen original y mapa de contornos
73
El mapa de contornos mejora la localización
Puntos de contorno y resultado final
Posición inicial y posición intermedia al
atraerse por los valles
74
Detección del stent usando las crestas de la
imagen
Imagen original y el mapa de crestas
El snake convergido al stent
75
Resultados de la segmentacion del vaso y el stent
Distancia entre stent y vaso
76
Reconstrucción 3D del vaso con cilindros
deformables
77
Reconstrucción 3D del vaso con cilindros
deformables
78
Apposición del stent
79
Apposición del stent
80
Apposición del stent
81
Posición 3D de las imágenes de IVUS
82
Reconstrucción 3D de la Aorta Abdominal
83
Registración entre angiografía e IVUS
84
Fusión de imagenes multimodales (IVUS y
angiografía)
85
Fusión de imagenes multimodales (IVUS y
angiografía)
86
Fusión de imagenes multimodales (IVUS y
angiografía)
87
Fusión de imágenes multimodales (IVUS y
angiografía)
88
Interacción simple con el cubo de IVUS
89
Navegación por el cubo del IVUS
90
Análisis dinámico del vaso en IVUS
91
Análisis de vasos isquémicos
Secuencia de IVUS mostrando la rotación del
catéter
92
Análisis de vasos isquémicos
Ilustración de la rotación periódica del vaso
93
Anàlisis de vaso infartado
Secuencia de IVUS mostrando la rotación del
catéter
94
Análisis de vasos infartados
95
Vaso isquémico
Vaso infartato
96
Frecuencias del los ángulos de rotación
Vasos infartatos
Vasos isquémicos
97
Comparación del movimiento de vasos isquémicos y
infartados
Movimiento fuerte de los vasos infartados (rojo)
versus movimiento leve de los isquémicos (verde)
98
Corrección de la rotación de las imágenes
99
Indice
Imágenes médicas Problemas de la Visión por
Computador en imágenes médicas Modelos
deformables Aplicaciones Reconstrucción 3D con
snakes estadísticos Reconstrucción 3D de vasos
coronarios a partir de angiografias
biplanas Reconstrucción 3D del vaso coronario a
partir de imágenes IVUS Análisis dinámico de
vasos coronarios Estimación de la deformación
local del corazón en imágenes SPAMM
100
Imágenes spamm para analizar la dinámica del
corazón
101
(No Transcript)
102
(No Transcript)
103
(No Transcript)
104
Estimando la deformacion del corazon
105
(No Transcript)
106
(No Transcript)
107
GRACIAS!