Eliminaci

1
Eliminación de Artificios de Cuantificación en
Imágenes usando Proyecciones sobre Conjuntos
Convexos en Espacios Transformados

• Luis Mancera Pascual

2
INTRODUCCIÓN
3
CUANTIFICACIÓN

• Artificios de cuantificación
• Falsos planos / falsos contornos

Peppers original
Peppers cuantif. 3-bits
4
DESCUANTIFICACIÓN PARA RESTAURACIÓN
emborronada
emb. cuant.

• La cuantificación introduce artificios de alta
  frecuencia al desconvolucionar

desemborronadas
5
ESTADÍSTICA IMÁGENES NATURALES
Imagen natural
Imagen aleatoria
Mezcla

• Zonas suaves.
• Bordes localizados.

• Desestructurada.

• El conocimiento a priori es importante para la
  estimación.

6
OBJETIVO

• Utilizar la estadística de las imágenes naturales
  para estimar la original como la imagen más
  típica compatible con la cuantificación observada.

Condición de compatibilidad
cuantificación
estimación
original
observación
7
MÉTODO DE PROYECCIONES ALTERNAS SOBRE CONJUNTOS
CONVEXOS
8
EL MÉTODO DE PROYECCIONES ALTERNAS Youla78
A
xp
x0
B
Marks97
9
EL MÉTODO DE PROYECCIONES ALTERNAS (II)

• Si no intersecan
• Ciclo límite.
• Solución mínimos cuadrados.

x0
B
A
xB
xA
Marks97
10
EJEMPLOS DE CONJUNTOS CONVEXOS

• Subespacios vectoriales
• Localización espacial / frecuencial (Fourier) /
  conjunta (wavelets).
• Subespacios afines
• Imágenes con un conjunto de coeficientes fijado
• Intervalos de cuantificación

Coefs. arbitrario.
Coefs. cero.
11
EJEMPLOS DE CONJUNTOS CONVEXOS

• Subespacios vectoriales
• Localización espacial / frecuencial (Fourier) /
• conjunta (wavelets).
• Subespacios afines
• Imágenes con un conjunto de coeficientes fijado.
• Intervalos de cuantificación.

Coefs. arbitrario.
Coefs. fijos.
12
EJEMPLOS DE CONJUNTOS CONVEXOS
xj

• Subespacios vectoriales
• Localización espacial /
• frecuencial (Fourier) /
• conjunta (wavelets).
• Subespacios afines
• Imágenes con un conjunto
• de coeficientes fijado.
• Intervalos de cuantificación.

dj
di
y
xi
dk
xk
13
FORMULACIÓN DEL PROBLEMA Y SOLUCIÓN POCS
14
y
Conjuntos de imágenes con un una característica
típica a un determinado nivel.
Xest,1
Conjunto de imágenes compatibles con
la observación.
15
y
Xest,2
16
y
ciclo límite
17
y
18
PLANTEAMIENTO EN EL DOMINIO DE FOURIER
19
MODELADO DE LA IMAGEN

• 3 modelos

B. Frecuencias dominantes
C. Frecuencias locales dominantes
A. Suavidad
Filtro paso-bajo global
Umbralización global
Umbralización local
20
RESULTADOS PARA EMBORRONAMIENTOS ISÓTROPOS
La mejora visual no refleja la mejora en precisión
Aplicación a desemborronado
Filtro gaussiano (s v2)
(Modelo A)
ISSIM Wang04
21
RESULTADOS EMBORRONAMIENTO ANISÓTROPO
Original emborronada Simulación movimiento 11
píxeles, 45º direcc. (Modelo C)
Cuantificada vs. Emborronada (3 bits) 28.70 dB
PSNR / 79.75 SSIM (?100)
Resultado vs. Emborronada 31.37 dB PSNR / 89.52
SSIM (?100)
22
CONCLUSIONES

• Sólo para señales suaves.
• Artificios oscilatorios en el resultado
  (ringing).
• Aplicación a desconvolución (caso alto
  emborronamiento y bajo ruido aleatorio).
• Pobre localización conjunta.

Solución
WAVELETS
23
PLANTEAMIENTO EN EL DOMINIO WAVELET
24
MODELO DE LA IMAGEN

• Raleza o sparseness. Olshausen96, Mallat89

• Redundancia mejora restauración. Olshausen97

• Pirámide orientable (steerable pyramid)
  Simoncelli95

Peppers original
subbanda Peppers pirámide orientable
25
FORZANDO LA RALEZA

• Degradación Menos raleza Rooms04,Wang05
• Aumentamos raleza conservando un conjunto G de
  coeficientes significativos y minimizando la
  norma euclídea.

• SG es la proyección ortogonal sobre

pseudoinversa
26
HALLANDO LA PSEUDOINVERSA

• Subespacio afín de vectores que tienen un valor
  fijo en algunos coeficientes.

zj
a
zi
zk
27
HALLANDO LA PSEUDOINVERSA

• Conjunto de respuestas posibles.

zj
zi
zk
28
HALLANDO LA PSEUDOINVERSA
Solución
zj
a
zi
zk
Partiendo de cero POCS proyecta hacia el elemento
de menor energía de la intersección
29
SELECCIÓN DE COEFICIENTES SIGNIFICATIVOS

• Umbral para cada subbanda k

p(xy)
x

• Coeficiente significativo Aquel que supera el
  umbral o es vecino de alguno que lo supere.
• Vecindad espacial 5 ? 5.

y
30
y
31
UNA SOLUCIÓN CERCANA AL ÓPTIMO

• La estimación es cercana al óptimo en mínimos
  cuadrados.

Curvas del factor promedio que resulta de nuestro
método (línea negra) y del óptimo en mínimos
cuadrados (linea azul).
32
UNA SOLUCIÓN APROXIMADA EFICIENTE

• Factor bastante constante para mismo proceso
  cuantificación (independientemente de la imagen)
• Utilizamos el factor promedio obtenido para un
  conjunto de prueba.

33
RESULTADOS (I)

• Observación cuantificada
• 3 bits
• 28.78 dB PSNR
• 80.10 SSIM (?100)

• Minimización salida
• filtro paso-alto
• 29.77 dB PSNR
• 81.18 SSIM (?100)

• Nuestro resultado
• 30.80 dB PSNR
• 87.59 SSIM (?100)

Peppers Original.
34
RESULTADOS (II)
Kernel gaussiano sb v2. Ruido blanco sn 2.
Desconvolución MATLAB, deconvblind(Image, PSF)

• Desconvolución
• 21.52 dB PSNR
• 48.47 SSIM (?100)

• Desconvolución
• procesada
• 23,62 dB PSNR
• 71.52 SSIM (?100)

• Emborronada ruido cuantificada 3 bits
• 21.92 dB PSNR
• 55.91 SSIM (?100)

Peppers Original.
35
RESULTADOS (III)
descenso brusco ?
El rendimiento es muy satisfactorio
36
RESULTADOS (IV)

• Detalle del cielo de una imagen fotográfica
  cuantificada con 8 bits (contraste ?40).

Observación
Procesada
37
CONCLUSIONES

• Resultados satisfactorios para escalones
  medio-grandes de cuantificación.
• Resultados satisfactorios en la desconvolución.
• Los métodos basados en raleza superan a los
  métodos basados en la suavidad.
• Reducción drástica de artificios en la
  descuantificación y desconvolución.
• La estimación es cercana al óptimo LS.

38
TRABAJO FUTURO

• Trabajo futuro
• Investigar el comportamiento de la pirámide
  orientable con cuantificación fina.
• Experimentar con otras representaciones
  sobrecompletas.
• Estudiar otros criterios de vecindad más
  avanzados.

39
REFERENCIAS

• Marks97. Robert J. Marks. Chapter 14 -
  Alternating Projections onto Convex Sets.
  Deconvolution and Images Spectra. Ed. Peter A.
  Jansson. Academic Press. 1997. (http//cialab.ee.w
  ashington.edu/REPRINTS/1997-AlternatingProjections
  .pdf)
• Youla78. D. C. Youla. Generalized Image
  Restoration by the Method of Alternating
  Orthogonal Projections. IEEE Trans. on Circuit
  and Systems, vol CAS-25, nº 9. September 1978.
• Wang04. Z. Wang, A.C. Bovik, E.P. Simoncelli.
  Image Quality Assessment from Error Visibility
  to Structural Similarity. IEEE Trans. on Image
  Proc., vol. 13, nº 4, pp 600-612. April 2004.
• Olshausen96. B.A. Olshausen, D.J. Field.
  Natural Image Statistics and Efficient Coding.
  Network Computation in Neural Systems, vol. 7,
  pp. 333-339, 1996.
• Mallat89. S.G. Mallat. A Theory for
  Multiresolution Signal Decomposition The Wavelet
  Representation. PAMI, 11, pp. 674-693, July 1989.
• Olshausen97. B.A. Olshausen, D.J. Field. Sparse
  Coding with an Overcomplete Basis Set A Strategy
  Employed by V1?. Vision Res., vol. 37, no. 23,
  pp. 3311-3325, 1997.
• Simoncelli95. E.P. Simoncelli. The Steerable
  Pyramid A Flexible Architecture For Multi-Scale
  Derivative Computation. 2nd IEEE Int. Conf. Image
  Proc., Washington D.C., vol. III, pp. 444-447,
  October 1995.
• Rooms04. F. Rooms, W. Philips, J. Portilla.
  Parametric PSF estimation via sparseness
  maximization in the wavelet domain. SPIE
  Conference "Wavelet Applications in Industrial
  Processing II, Philadelphia. Proc. SPIE 5607,
  pp. 2633, October 2004.
• Wang05. Z. Wang, G. Wu, H.R. Sheikh, E.P.
  Simoncelli, E.H. Yang, A.C. Bovik. Quality-Aware
  Images. IEEE Trans. on Image Proc., accepted,
  2005.

40
DESCUANTIFICACIÓN COMO INTERPOLACIÓN
Iría como número 5
cuantificación
interpolación
qi,max
qi
qi,min
41
CONJUNTOS CONVEXOS
Marks97
Convexo
No convexo
42
PROYECCIÓN ORTOGONAL SOBRE UN CONJUNTO CONVEXO

• Propiedades
• Única.
• Ángulo de caída ortogonal si
• la frontera es derivable.

A
Conjunto convexo
Marks97
43
FORMULACIÓN DEL PROBLEMA

• Encontrar una señal que maximice una
  característica deseable dada y sea todavía
  compatible con la señal cuantificada observada.

44
RESULTADOS RESTAURACIÓN DE EMBORRONAMIENTO
ISÓTROPO
Cuantificada 28.65 dB PSNR 3 bits 79.59
SSIM (?100)
Procesada 32.13 dB PSNR 90.56 SSIM (?100)
(Modelo A)
45
RESULTADOS RESTAURACIÓN DE EMBORRONAMIENTO
ISÓTROPO
(Modelo C)
Cuantificada 28.65 dB PSNR 3 bits 79.59
SSIM (?100)
Procesada 32.13 dB PSNR 90.52 SSIM (?100)
46
RESULTADOS EMBORRONAMIENTO ISÓTROPO
(Modelo A)
Desconvolución MATLAB, deconvblind(Image, PSF)

• Desde cuantificada
• 21.35 dB PSNR
• 51.58 SSIM (?100)

• Desde procesada
• 22.49 dB PSNR
• 62.54 SSIM (?100)

• Desde emborronada
• 24.81 dB PSNR
• 84.59 SSIM (?100)

Peppers original
47
RESULTADOS EMBORRONAMIENTO ISÓTROPO
(Modelo C)
Desconvolución MATLAB, deconvblind(Image, PSF)

• Desde cuantificada
• 21.35 dB PSNR
• 51.58 SSIM (?100)

• Desde procesada
• 22.60 dB PSNR
• 62.74 SSIM (?100)

• Desde emborronada
• 24.81 dB PSNR
• 84.59 SSIM (?100)

Peppers original
48
RESULTADOS RESTAURACIÓN DE EMBORRONAMIENTO
ANISÓTROPO
(Modelo C)
Desconvolución MATLAB, deconvblind(Image, PSF)
Original emborronada Simulación movimiento 11
píxeles, 45º direcc.

• Desde cuantificada
• 19.30 dB PSNR
• 42.46 SSIM (?100)

• Desde procesada
• 20.69 dB PSNR
• 57.00 SSIM (?100)

• Desde Emborronada
• Simul. Movim. 11 p. 45º
• 22.42 dBs PSNR
• 78.23 SSIM (?100)

49
UNA SOLUCIÓN CERCANA AL ÓPTIMO

• La estimación es cercana al óptimo en mínimos
  cuadrados.

Diferencia entre promedio del factor multiplicativ
o del resultado del método y del que ofrece el
resultado de mínimos cuadrados.