pr

1
Experimental Comparison between Bagging and Monte
CarloEnsemble ClassificationauteursRoberto
Esposito Lorenza Saitta

• présenté
• Mouhamadou Thiam

2
Plan

• Introduction
• Bagging
• Monte Carlo
• MC Amplification
• Bagging vs MC Amplification
• Résultats expérimentaux
• Bilan Conclusion

3
Introduction

• Théorie de MC, apprentissage et classification
• AmpMC ES,2004, prédictions
• Motivations
• Validité des prédictions(expérimentalement)
• Évaluation de son pouvoir explicatif
• Autres classifieurs ???
• Bagging Br,1996, vs AmpMC

4
Bagging

• Boostrap Aggregating
• Apprentissage
• Nouvelle BD par classifieur
• Apprentissage séparée des classifieurs
• Utilisation
• Combinaison linéaire de tous les classifieurs
• Début très simples(arbres de décision)
• Actuellement plus compliqués (RN) HS,M205

5
Monte Carlo

• Algorithme stochastique (réponse!) BB,1988
• Consistant jamais 2 réponses correctes
• p-correct
• Bayes error 0, MC certainly consistent
• Pas de mémoire
• Aptitude dAmplification(T,pc(x)1, pgt½)
• Classification binaire

6
(No Transcript)
7
Bagging vs MC Amplification
Travaux antérieurs ES,03a,ES,03a,ES,2004
X xk1ltkltN, D dk1ltkltN,

• Dans Br,1996 PX(x) distribution de probabilité
  continue

order-correctness(Br,1996) ?

• Quelques résultats
• order-correctness(Br,1996) ? MC
  amplifiability(ES,2004)
• cas spéciaux de MC ? formules de Breiman

8
(No Transcript)
9
Evaluation

• 12 datasets naturelles
• Pour chacune
• T ? 1,101, impaires avec 60 fois
• Datasets artificielles

F153, Xu 55,70,95 Xu53, F1 55,70,95
10
Résultats Expérimentaux

• But double
• Validité des prédictions théoriques de MC
• Relations entre MC et Bagging
• Validité de la théorie de MC vérifiée
• Bagging moins chèr
• Même erreur attendue
• Plausible variance bagging plus grande

11
Bilan Conclusion

• Validité des prédictions théoriques
• Même moyenne derreur
• Variance(Bagging) gt Variance(AmpMC)
• Bagging est
• moins coûteux
• pratique(peu de ressources)
• !! Relation entre les variances

12
Mon avis

• Théorie de MC bien exposée
• Son amplification de même
• Bagging non exposé
• Données de tests
• Naturelles suffisantes
• Artificielles pas suffisants
• Bon article mais
• Lire leurs travaux précédents

13
Références

• HS,M205 Holger Schwenk, Cours M2R, Traitement
  Statique de lInformation, Orsay 2005-2006
• ES,2004 Esposito, R., Saitta, L. (2004). A
  Monte Carlo Analysis of Ensemble Classification.
  Proceedings of the twenty-first International
  Conference on Machine Learning (pp. 265272).
  Banff, Canada ACM Press, New York, NY.
• ES,2003b Esposito, R., Saitta, L. (2003b).
  Monte Carlo Theory as an Explaination of Bagging
  and Boosting. Proceeding of the Eighteenth
  International Joint Conference on Artificial
  Intelligence (pp. 499504). Morgan Kaufman
  Publishers.
• ES,2003a Esposito, R., Saitta, L. (2003a).
  Explaining Bagging with Monte Carlo Theory.
  Lecture Notes in Artificial Intelligence (pp.
  189200). Springer.
• Br,1996 Breiman, L. (1996). Bagging predictors.
  Machine Learning, 24, 123140.
• BB,1988 Brassard, G., Bratley, P. (1988).
  Algorithmics theory and practice. Prentice-Hall,
  Inc.
• http//www.di.unito.it/esposito/