Apprentissage I

1
Apprentissage (I)
Dynamique des systèmes complexes et applications
aux SHS modèles, concepts méthodes

• Mirta B. Gordon
• Laboratoire Leibniz-IMAG
• Grenoble

2
plan

• cest quoi ?
• différents types dapprentissage
• algorithmes dapprentissage
• les réseaux de neurones
• le perceptron
• réseaux plus complexes
• théorie de lapprentissage

3
cest quoi ?

• apprendre est sadapter à lenvironnement à
  partir de lexpérience
• schéma
• on a des stimuli ou entrées
• il faut donner une réponse adéquate, ou sortie
• entrées-sorties
• à partir de notre perception visuelle ?
  reconnaître un visage
• à partir de descripteurs dune situation ?
  prendre une décision
• à partir de descripteurs de données ? les classer
  
•  apprendre  à partir de données empiriques

4
trois types dapprentissage

• supervisé
• on a un ensemble dexemples (couples
  entrée-sortie)
• on doit apprendre à donner la sortie correcte à
  de nouvelles entrées
• non-supervisé
• on a un ensemble de données (entrées sans la
  sortie correspondante)
• on doit trouver des régularités permettant de les
  classer (clusters)
• par renforcement
• on a des entrées décrivant une situation
• on reçoit une punition si la sortie quon donne
  nest pas adéquate

5
algorithmes dapprentissage

• heuristiques (recettes) pour chaque type
  dapprentissage
• apprendre ? problème inverse, mal posé
• pas de solution unique
• différents algorithmes chacun a sa performance
• critères
• vitesse de convergence
• temps dapprentissage en fonction du nombre
  dexemples
• capacité de généralisation
• évolution de la qualité de la solution en
  fonction du nombre dexemples

6
apprentissage supervisé

• classification ou discrimination
• attribuer une classe à une donnée, à partir des
  traits décrivant cette donnée
• exemples de tâches de discrimination
• le diagnostic médical
• la reconnaissance de caractères manuscrits
• la décision dacheter une action à partir des
  données du marché financier

7
formalisation

• information contenue dans un ensemble
  dapprentissage
• LM (xm,tm) 1mM
• M vecteurs de dimension N
• xm(xm1, xm2, , xmN)
• (m1,2,,M)
• et leurs classes
•  apprendre  à donner de bonnes réponses s(x) à
  de nouveaux vecteurs x

• deux phases
• apprendre

- généraliser
8
classifieur élémentaire le perceptron

• dinspiration biologique  neurone  
  élémentaire
• surface discriminante linéaire
• stabilité dun exemple
• distance à la surface discriminante
• avec signe si mal classé

9
algorithme du perceptron

• on initialise les poids du perceptron
• on parcourt les exemples
• si la sortie donnée par le perceptron est
  incorrecte, on modifie les poids
• jusquà convergence
• convergence assurée seulement si les exemples
  sont linéairement séparables
• si les exemples sont linéairement séparables
  infinité de solutions

10
apprendre les poids dun perceptron

• par minimisation dune fonction de coût
• les poids qui classent al les exemples ont un
  coût élevé
• coûts  ad-hoc 
• pénalisant les stabilités négatives
• rappel

11
exemples non séparables linéairement

• problème
• lalgorithme du perceptron ne converge pas
• les autres algorithmes convergent mais souvent
  vers des solutions  non intéressantes  (poids
  des exemples moins bien classés)
• deux solutions
• classique
• réseaux en couches
•  moderne 
• Support Vector Machines

12
fin premier cours