Redes Neuronales

1
Redes Neuronales

• Aplicación en documentación y bibliotecas

2

• Introducción
• Clasificación de la información
• Aplicaciones lingüísticas
• Diseño de interfaces
• Almacenamiento y recuperación
• Filtrado
• Imágenes búsqueda multimedia

3
1. Definición de redes neuronales

• un sistema de procesamiento de información
  compuesto por un gran número de elementos de
  procesamiento o neuronas profusamente conectados
  entre sí a través de canales de comunicación
  (Regueiro).
• Estas conexiones establecen una estructura
  jerárquica y permiten la interacción con los
  objetos del mundo real tratando de emular al
  sistema nervioso biológico. A diferencia de la
  computación tradicional, basada en algoritmos
  predecibles, la computación neuronal permite
  desarrollar sistemas que resuelvan problemas
  complejos cuya formalización matemática es
  sumamente difícil.

4
Ventajas

• aprendizaje adaptativo
• autoorganización
• tolerancia a fallos
• operación en tiempo real
• fácil inserción dentro de la tecnología existente

5
Áreas de aplicación

• Reconocimiento de patrones, con aplicaciones en
  sensación remota, análisis de imágenes médicas,
  visión en computadoras industriales y elementos
  de proceso de las entradas para computadores.
• Bases de datos de conocimiento para información
  estocástica.
• Control de robots.
• Toma de decisiones.
• Filtrado de señales.
• Segmentación, compresión y fusión de datos.
• Interfaces adaptativas para sistemas
  hombre/máquina.

6
Organización de la red

• por niveles o capas de neuronas. Se pueden
  distinguir tres tipos de capas de entrada,
  ocultas y de salida.
• por la forma de conexión entre neuronas
  propagación hacia adelante y propagación hacia
  atrás.

7
Características de las redes neuronales

• Topología.
• Mecanismo de aprendizaje.
• Tipo de asociación entre las informaciones de
  entrada y salida heteroasociativa y
  autoasociativa.
• Representación de la información de entrada y
  salida.

8
2. CLASIFICACIÓN DE LA INFORMACIÓN Métodos

• .Mapas de Kohonen
• -Pertenece al grupo de red neuronal no
  supervisada
• -Funcionamiento
• -2 variantes
• LVQ "Cuantificación por Vector de Aprendizaje",
  caracterizado por tener una salida en una única
  dimensión
• TPM "Mapa de Preservación Topológica", más
  conocido por SOM "Mapa auto-organizativo" con
  salida bidimensional

9
Aplicaciones e inconvenientes de los SOM

• Aplicaciones de los SOM
• -Clasificar, extraer características
• -Refleja la imagen topológica de la información
  de entrada (las entradas con rasgos similares o
  relacionadas aparecen cercanas en el mapa)
• Inconvenientes
• poco aplicable a conjuntos de información de gran
  tamaño
• resulta caro y es lento

10
Mapas de Xia Lin

• Es un mapa auto-organizado, similar al de Kohonen
• Funcionamiento los vectores de cada documento
  representan la frecuencia de aparición de los
  términos y la red es entrenada con estos vectores

11

• Aplicaciones
• clasifica los datos por materias
• visualiza las materias de un conjunto de datos en
  un mapa, diferenciadas por los nombres y colores
• Inconvenientes similares al anterior
• resulta caro y lento
• aplicable a pequeñas colecciones de datos
• los datos son agrupados por un pequeño número de
  palabras extraídas generalmente de los títulos
• Demostraciónhttp//www.uky.edu/xlin

12
WEBSOM

• Mapa auto-organizativo similar a los anteriores,
  pero que permite trabajar con grandes cantidades
  de información y con palabras del texto completo
  no sólo del título
• Funcionamiento se crean también vectores de cada
  documento, con ello se genera un mapa intermedio
  de categorías de palabras que ordena los términos
  según sus relaciones y finalmente se elabora
  automáticamente un mapa que agrupa los documentos
  según su contenido

13
Aplicaciones

• el mapa agrupa documentos por su contenido,
  reflejando las relaciones entre ellos
• los colores más oscuros o menos reflejan la
  densidad de información y la proximidad entre
  zonas indica la mayor o menor relación entre los
  documentos

14
Ventajas e inconvenientes

• Ventajas permite la clasificación de gran
  cantidad de información y trabaja con el texto
  completo
• Inconvenientes necesita mucho tiempo y espacio
  por la dimensión de los vectores, pero exiten
  métodos para reducirlos

15
Aplicaciones a otros tipos de documentos

• Artículos de grupos de discusión (News)
• Abstracts de artículos científicos
• Abstracts de patentes
• Demostración
• http//websom.hut.fi/websom

16
ET-MAP

• Es un sistema de clasificación temática y
  búsqueda de homepages de Internet, similar a los
  mapas auto-organizados de Kohonen
• Demostración
• http//ai2.BPA.arizona.edu/ent

17
Mapas de redes de publicaciones científicas

• Mapa semejente al de Xia Lin, que relaciona las
  revistas de determinado campo temático
• Funcionamiento se construye un vector para el
  título de cada revista que contiene las citas de
  cada artículo
• Aplicaciones
• se obtiene un mapa de relaciones, útil para
  estudiar las relaciones entre revistas
• también se obtiene otro mapa de dominios

18
3. Aplicaciones lingüísticas

• Procesamiento en lenguaje natural
• Se ha utilizado una adaptación de los SOM
  estudios semánticos y pragmáticos
• Modelado de la gradación y lógica difusa
• la gradación es habitual en el lenguaje natural
• también lo es la contextualidad
• la relación lenguaje-mundo es uno a muchos
• la mejor herramienta es la lógica difusa
• La ambigüedad del lenguaje puede ser un problema
• se intenta resolver mediante SOMs

19
Indización y thesauros

• Problemas de vocabulario y de subjetividad
• Indización automática se ha propuesto el sistema
  Concept Assigner (basado en una variante de la
  red Hopfield)
• La tecnología corriente requiere la interacción
  humana
• Los términos de indización se pueden asignar muy
  rápido procurando a los indizadores feedback
• Proyecto GATOAC (Generación automática de
  thesauros orientada a las arquitecturas de
  componentes)

20
Traducción automática

• Inferencia gramatical se aprende, se infiere, un
  modelo formal que representa a los ejemplos,
  patrones de entrada
• Caso particular de la traducción traducción
  semántica o comprensión del lenguaje
• No están satisfactoriamente resueltos sólo se
  han conseguido avances en dominios restringidos

21

• El problema del tiempo en las RN artificiales
  los modelos conexionistas han de disponer de
  conexiones con recurrencias Redes Neuronales
  Recurrentes
• Se ha demostrado que las RNR pueden resolver
  tareas en el campo de la
• Inferencia gramatical (IG)
• Comprensión del lenguaje (CL)
• Traducción automática entre lenguajes (TA)
• Se han entrenado distintos modelos recurrentes y
  se ha observado que la eficacia del modelo
  aumenta al realimentar la capa de salida de la
  red en las neuronas ocultas.

22

• Entre los desarrollos futuros señalados están
• - inducción de GREs
• sería deseable estudiar la capacidad de todas o
  algunas de las RNR para estimar probabilidades
  asociadas a una GRE
• habría que estudiar el incremento del número de
  muestras que requeriría aprender una GRE y el
  tiempo precisado para entrenar la RES
• la inferencia gramatical libre de contexto queda
  pendiente
• - CL
• es posible construir un traductor texto-a-texto
  mediante interlingua
• - TA
• hay que seguir trabajando en representaciones que
  permitan abordar traducciones con vocabularios
  grandes
• abordar tareas de TA con dominios semánticos más
  amplios
• abordar estudios sobre traducción entre pares de
  lenguajes distintos al inglés-castellano ya
  estudiados
• queda pendiente la integración del traductor
  conexionista a un modelo reconocedor de voz

23
Conclusiones

• Las redes neuronales artificiales tienen
• capacidad de aprendizaje a partir del mundo real
• habilidad para resolver problemas en los que
  aparecen dependencias temporales

24

• Esto las hace herramientas ideales para
• procesamiento del lenguaje
• reconocimiento de voz
• tratamiento del leguaje natural
• comprensión del lenguaje
• traducción automática entre lenguajes

25
4. Diseño de interfaces

• La aplicación de redes neuronales permite una
  mayor interactividad a partir de
• Realización de inferencias
• Presentación de alternativas
• Autoaprendizaje
• Procedimiento discutido
• No se percibe un comportamiento más eficiente
• Por el contrario el coste (por ejemplo en
  memoria) es superior a los modelos de desarrollo
  tradicionales

26

• La investigación en este campo se orienta hacia
• Modelos hipertextuales e hipermedia
• Hipernet
• Derivados de modelos tradicionales (índices)
• AIR (Adaptative Information Retrieval System)
• SCALIR (Hybrid Symbolic Connectionist Models
  in Legal Information Retrieval)
• ANLI (Adaptive Network Library Interface)
• Conet-IR
• Knowboot

27
5. Almacenamiento y recuperación de la
información

• Los pesos de las conexiones son las unidades de
  memoria de la red y el proceso de almacenamiento
  se conoce como aprendizaje, que puede estar no
  revisado, supervisado por un entrenador o
  reforzado
• ?aprendizaje no revisado no precisa patrones
  previamente establecidos ni requiere comparación
  exterior con las respuestas producidas por la
  red.
• ?aprendizaje supervisado supone el entrenamiento
  de la red de acuerdo con los ejemplos que se
  introducen en ella.
• ?aprendizaje reforzado consiste en la información
  externa que separa a la red para indicarle si la
  respuesta de una pregunta ha sido satisfactoria o
  no.

28
Problemas del almacenamiento

• las palabras no siempre se ajustan a los
  conceptos o materias que señalan.
• las palabras deben reducirse a categorías
  numéricas con las que operará el programa
  informático.

29
Técnicas más utilizadas en la búsqueda y
recuperación de la información

• estadística de caracteres adyacentes o análisis
  de n-gramas.
• índices invertidos.
• un algoritmo llamado "ránking de relevancia".
• "relevance feed-back.
• en vez de utilizar la palabra original en el
  índice, se puede utilizar un subconjunto de
  entidades (semánticas) artificiales o incluir un
  tesauro.

30
Temas en curso en IR

• Se caracterizan por la búsqueda en sistemas que
  presentan comportamiento adaptativo, interactivo
  y transparencia
• comprensión de búsquedas incompletas o
  comparaciones incompletas.
• comprensión de las intenciones vagas (dudosas)
  del usuario.
• capacidad para generalizar sobre las búsquedas
  así como sobre los resultados de las mismas.
• adaptación a las necesidades cambiantes de los
  usuarios.
• permitir feed-back relevante.
• ayudar al usuario a buscar inteligentemente por
  los datos.
• añadir contexto sensible.

31
Problemas de evaluación del IR

• la relevancia es un concepto muy subjetivo.
• la relevancia es siempre relativa a los
  documentos encontrados.
• muchos usuarios no saben lo que están buscando

32
Búsqueda incompleta

• Las aplicaciones comerciales con más éxito de las
  RNA en búsqueda de información son las búsquedas
  en conjuntos de datos incompletos tal como los
  datos reunidos con un programa de OCR localizar
  información difusa, errores de deletreado,
  variaciones fonéticas,...
• Productos Excalibur, ZyIMAGE, InfoSelect, etc.

33
Otras aplicaciones en la búsqueda incompleta son

• Búsqueda de información utilizando una red
  neuronal híbrida multicapa.
• Sistemas de diálogo asociativo (ASDIS).
• Controladores de deletreado convencionales y de
  memoria asociativa.
• Lógica difusa con cuantificadores lingüísticos en
  la toma de decisiones y control.
• Recuperación de información basada en redes
  neuronales no supervisadas de agrupamientos
  temáticos difusos

34
Data Mining

• Las redes neuronales son buenas en
• búsquedas incompletas
• datos heterogéneos
• datos ruidosos
• tareas de generalización y de asociación
• El estudio de Data Mining (descubrimiento de
  información) la búsqueda de respuestas
  desconocidas a preguntas desconocidas.

35
Conclusiones

• el algoritmo utilizado para el desarrollo de la
  red neuronal demuestra que es posible tratar
  grandes volúmenes de información.
• el uso de este algoritmo posibilita obtener
  interfaces intuitivas y gráficas lo cual
  enriquece las perspectivas desde las que el
  usuario afronta el proceso de acceso a la
  información.
• la búsqueda de información puede ser un área
  frustrante de información ya que en nuevos
  modelos es difícil demostrar que trabajan mejor
  cuantitativa y cualitativamente que cualquier
  modelo previo. El añadido de nuevas dependencias
  a menudo enlentece los procesos.
• el estudio de la búsqueda de información ha
  estado siempre mucho más relacionado con patrones
  de reconocimiento estadístico que con técnicas de
  Inteligencia Artificial

36
6. Filtrado de información

• DSI
• Se filtra y ordena gran cantidad de información
  en relación al interés del usuario. Se selecciona
  la información más relevante.
• Los trabajos sobre DSI con RN son cada vez más,
  y de mayor interés. Es un servicio de gran
  aceptación.

37

• Servicio de NEWS personalizado
• Esta red se construye sobre la base de los
  artículos leídos y marcados como rechazados.
• Se puede usar también buscando por palabras clave
  de los artículos en conjunción con un modelo de
  RN.
• Muestra prometedores resultados en el
  acercamiento hecho a un sistema basado en un IR.

38

• Sistemas expertos para el desarrollo de una
  colección.
• Proyecto para desarrollar un sistema experto para
  asistir la selección de material para
  bibliotecas.
• Parte del proyecto trata la construcción de un
  componente de aprendizaje dentro del sistema, y
  dos acercamientos, inducción y RN, son
  prefijados.
• Algunos autores han discutido la posibilidad de
  una máquina con capacidad de aprender y adquirir
  conocimiento en el dominio de la selección de
  monografías.

39
Filtrado neuronal de KOHONEN basado en caracteres

• El método de Kohonen se puede implementar con
  gran facilidad ya que es bastante simple,
  mediante la entrada de sensores.
• Los textos que mejor se correspondan con las
  características del mapa. serán los más aptos
  para agruparse en el mapa.
• Puede usarse como un recurso de filtrado en un
  entorno con una pregunta estática y un dinámico
  flujo de información.

40
7. Ejemplos de aplicaciones

• Neural Data Analysis
• Nicos
• nnsysid