Analyse Factorielle Exploratoire

1
Analyse Factorielle Exploratoire

• Michel Tenenhaus

2
1. Les données de Kendall
3
(No Transcript)
4
Tableau des corrélations
One of the questions of interest here is how the
variables cluster, in the sense that some of the
qualities may be correlated or confused in the
judges mind. (There was no purpose in
clustering the candidates - only one was to be
chosen).
5
2. Classification Ascendante Hiérarchique des
variables
H I E R A R C H I C A L C L U S T E R A
N A L Y S I S Dendrogram using Complete
Linkage (Méthode des voisins les plus éloignés)
Rescaled Distance Cluster
Combine C A S E 0 5 10
15 20 25 Label Num
---------------------------------------------
X6 6 òûòòòòòòòø X12 12
ò ùòø X8 8 òûòø ó ó X11
11 ò ùòòòòò ùòòòòòòòòòòòòòòòòòòòø X5
5 òòò ó ó
X10 10 òòòòòûòòòòò
ùòòòòòø X13 13 òòòòò
ó ó X2 2
òòòòòòòòòòòòòòòòòòòòòòòòòòòòòòò
ùòòòòòòòòòòòø X4 4
òòòòòòòòòòòûòòòòòòòòòòòòòø ó
ó X14 14 òòòòòòòòòòò
ùòòòòòòòòòòò ó X7 7
òòòòòòòòòòòòòòòòòòòòòòòòò
ó X9 9 òòòòòòòòòòòûòòòòòòòø
ó X15 15
òòòòòòòòòòò ùòòòòòòòòòòòòòòòòòòòòòòòòòòòø
ó X1 1 òòòòòòòòòòòòòòòòòòò
ùò X3 3
òòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòò
6
Interprétation des blocs
Bloc 1 Qualités humaines favorables au
poste (Appearance), Self-confidence, Lucidity,
Salesmanship, Drive, Ambition, Grasp,
Potential Bloc 2 Qualités de franchise et de
communication Likeability, Honesty, Keenness to
join Bloc 3 Expérience Form of letter of
application, Experience, Suitability Bloc 4
Diplôme Academic ability
7
3. Uni-dimensionabilité dun bloc de variables
Question Un bloc de variables Xj est-il
essentiellement unidimensionnel ?
Réponse

• 1) La première valeur propre ?1 de lanalyse en
• composante principale du bloc est supérieure
  à 1,
• les autres sont inférieures à 1.
• Chaque variable est plus corrélée à la première
• composante principale quaux autres
  composantes
• principales.
• Chaque variable Xj a une corrélation supérieure
• à 0.5, en valeur absolue, avec la première
  composante.

8
Application ACP de chaque bloc
Bloc 1
Bloc 1 unidimensionnel
9
Application
Bloc 2
Bloc 3
10
Fiabilité de linstrument de mesureMesure
globale de lhomogénéité dun bloc de variables
positivement corrélées entre elles LAlpha de
Cronbach
Question Comment mesurer globalement la
fiabilité de linstrument de mesure ? Cest
à dire le niveau dhomogénéité dun bloc de
variables xi positivement corrélées entre elles
? Réponse Utilisation du Alpha de Cronbach
11
Le modèle
avec les ei et ? indépendants.
12
Définition du ? de Cronbach
Formule de calcul du ? de Cronbach

• ? 1, et 1 lorsque toutes les corrélations
  entre les xi sont égales à 1
• et toutes les variances des xi sont égales.

13
? de Cronbach pour items centrés-réduits
On a la décomposition suivante
Si les variables sont centrées-réduites on
obtient
Un bloc de variables positivement corrélées entre
elles est homogène si la corrélation moyenne
est grande.
14
? de Cronbach pour items centrées-réduites
Le rapport
devient
Un bloc est considéré comme homogène si
- ? ? 0.6 pour des recherches
exploratoires - ? ? 0.7 pour des
recherches confirmatoires
15
Application ? de Cronbach de chaque bloc
Bloc 1
Les corrélations sont toutes positives.
16
Bloc 1
R E L I A B I L I T Y A N A L Y S I S - S
C A L E (A L P H A) Item-total Statistics
Scale Scale Corrected
Mean Variance Item-
Squared Alpha if Item
if Item Total Multiple
if Item Deleted Deleted
Correlation Correlation Deleted X2
41.2708 364.1591 .5052
.4435 .9599 X5 41.4167
327.0142 .8356 .7957
.9435 X6 42.0417 300.9344
.8633 .8823 .9404 X8
43.5625 289.2726 .8883 .8530
.9391 X10 43.0417
312.5940 .8122 .7783
.9438 X11 42.3750 305.6011
.8937 .8493 .9384 X12
42.1042 303.3293 .8834 .8853
.9390 X13 42.6667
301.1206 .8570 .8345
.9409 Reliability Coefficients 8
items Alpha .9503 Standardized
item alpha .9489
Scale Somme des variables
17
Bloc 2

Item-total Statistics Scale
Scale Corrected Mean
Variance Item- Squared
Alpha if Item if Item
Total Multiple if Item
Deleted Deleted Correlation
Correlation Deleted X4 13.6042
19.5208 .7823 .6127
.6185 X7 11.7083 25.1472
.5986 .4166 .8125 X14
14.1875 23.4747 .6312
.4695 .7820 Reliability Coefficients
3 items Alpha .8153
Standardized item alpha .8138
18
Bloc 3

Item-total Statistics Scale
Scale Corrected Mean
Variance Item- Squared
Alpha if Item if Item
Total Multiple if Item
Deleted Deleted Correlation
Correlation Deleted X1 10.1875
36.9641 .6165 .3824
.8184 X9 11.9583 28.3812
.7043 .5107 .7287 X15
10.2292 27.7974 .7318
.5405 .6981 Reliability Coefficients
3 items Alpha .8223
Standardized item alpha .8237
19
5. ACP des données de Kendall
20
ACP des données de Kendall
Les corrélations inférieures à 0.5 en valeur
absolue ne sont pas montrées.
21
ACP  Rotation Varimax 
Seules sont montrées les corrélations maximum en
valeur absolue sur chaque ligne.
22
6. Analyse Factorielle orthogonale
6.1. Les données
p variables aléatoires X1,, Xp, en général
centrées-réduites.
6.2. Le modèle
X1 ?11Y1 ?1mYm e1 . . . Xi ?i1Y1
?imYm ei . . . Xp ?p1Y1
?pmYm ep
où Yj facteurs communs centrés-réduits ei
facteurs spécifiques centrés et de variance
?i Les facteurs Y1,, Ym, e1,, em sont tous non
corrélés entre eux.
23
6.3. Analyse Factorielle (Option analyse en
composantes principales)
Les données
p variables X1,, Xp centrées-réduites.
Estimation des facteurs Y1, , Ym
Les m premières composantes principales réduites.
Choix de m
Nombre de valeurs propres supérieures à 1.
24
Application Kendall
25
Calcul des saturations (loadings) ?ij
Les loadings ?ij sont les coefficients de
régression des Yj dans la régression de Xi sur
les facteurs Y1,, Ym. Les facteurs étant
orthogonaux ( non corrélés) on a
?ij Cor(Xi, Yj)
Calcul des communautés (communalities) hi2
26
Application Kendall
Matrice des corrélations entre les variables et
les facteurs
27
Calcul des spécificités ?i
Qualité de la décomposition
Variance expliquée par Y1 ( ?1)
Variance expliquée par Ym ( ?m)
Variance résiduelle
Variance totale
28
Application Kendall avec m 4
29
6.4. Décomposition de R en AF orthogonale
Modèle Xi ?i1Y1 ?imYm ei
Formules de décomposition

30
Formule générale
R ??? ?
31
6.5. Les objectifs de lAF orthogonale
Lanalyse factorielle orthogonale consiste à
rechercher une décomposition de la matrice des
corrélations R de la forme
R ??? ?
Les ?ij sont les saturations et les ?i les
spécificités.
Méthodes usuelles dextraction des saturations
- Analyse en composantes principales -
Méthodes des facteurs principaux -
Méthodes des moindres carrés -
Méthodes des moindres carrés pondérés
- Maximum de vraisemblance
32
Application Kendall
R
33
m 4
34
(No Transcript)
35
6.6. Les méthodes de rotation
Formule de décomposition (p 3, m 2)
36
Les méthodes de rotation
Matrice de rotation dun angle ?
Y
Y
y
A
y

T
X
x
?
Matrice de rotation T TT T T I
x
X
x Proj(A) sur laxe X y Proj(A) sur laxe
Y  
37
Indétermination de la décomposition
I
Nouvelle matrice des saturations après rotation
38
Les méthodes de rotation VARIMAX et QUARTIMAX
Objectifs (1) Pour chaque colonne de ? les
?ij sont proches de 0 ou 1 gt Facteurs
bien typés. Cest lobjectif de VARIMAX. (2) Sur
chaque ligne de ? il y a un ?ij proche 1 et
tous les autres proches de 0 gt Typologie
des variables. Cest lobjectif de QUARTIMAX.
39
Exemple avec les blocs 2 et 3
Seulement dans loption ACP
40
Exemple avec les blocs 2 et 3
41
Utilisation de la rotation Varimax

( TT? I )
?
42
Utilisation de la rotation varimax
43
Exemple Kendall completApplication (ACP
Varimax)
44
Application (ACP Varimax)Présentation améliorée
Corrélations inférieures à 0.4 en valeur absolue
non montrées
45
6.7. Estimation des facteurs communs(AF
orthogonale)
On recherche une variable (ou score)
aussi proche que possible de Yj. La régression
de Yj sur X1,, Xp donne
46
Application (ACP Varimax)
Coefficients appliqués aux variables
centrées-réduites
47
Estimation des facteurs
48
7. Test de sphéricité de Bartlett
Test H0 R Identité
(aucune corrélation entre les X)
On rejette H0 au risque ? de se tromper si

49
Application
50
8. Kaiser-Meyer-Olkin Measureof Sampling Adequacy
La corrélation partielle
Xi ?i0 ?i1Y1 ?imYm ?i Xk
?k0 ?k1Y1 ?kmYm ?k
gt Cor(Xi, Xk / Y1, , Ym) Cor(?i, ?k)
Pour un modèle factoriel
Les facteurs spécifiques sont non corrélés entre
eux.
 Anti-image correlation  -aik
Si le modèle factoriel est vrai les aik
cor(Xi, Xk/ Autres X) sont faibles en valeur
absolue.
51
Application Kendall
52
Kaiser-Meyer-Olkin Measure of Sampling Adequacy
Comparaison entre les corrélations rik et les
corrélations partielles aik
53
9. CONCLUSION (!!!!)

• we find ourselves in sympathy with the growing
  group of
• statisticians who doubt if FA is worth using
  except in a few
• particular types of application. For example
  Hills (1977) has
• said that FA is not  worth the time necessary to
  understand it
• and carry it out . He goes on to say that he
  regards FA as an
•  elaborate way of doing something which can only
  be crude,
• namely picking out clusters of inter-related
  variables, and
• then finding some sort of average of the
  variables in a cluster
• in spite of the fact that the variables may be
  measured on
• different scales. 
• C. Chatfield A.J. Collins, 1980

54
10. Autres méthodes dextraction des saturations
- Méthodes des facteurs principaux - Méthodes
des moindres carrés - Méthodes des moindres
carrés pondérés - Maximum de vraisemblance
55
10.1 La matrice des saturations
Modèle Xi ?i1Y1 ?imYm ei
Les ?ij sont les saturations (ou loadings)
Matrice des saturations dans SPSS
- Yj Composantes principales
réduites Component Matrix - Yj
orthogonaux Factor Matrix - Yj
corrélés Pattern Matrix
Si les Yj sont orthogonaux ?ij Cor(Xi,
Yj). Si les Yj sont corrélés, les Cor(Xi, Yj)
sont données dans la  Structure Matrix .
56
10.2 Communauté et spécificité en AF orthogonale
Modèle Xi ?i1Y1 ?imYm ei
Décomposition de la variance
Communauté initiale et finale
(option autre que lACP)
57
10.3 Qualité de la décomposition en AF
orthogonale
Modèle Xi ?i1Y1 ?imYm ei
Décomposition de la variance
De

On déduit
Variance expliquée par Y1
Variance expliquée par Ym
Variance résiduelle
Variance totale
58
10.4 Méthodes des facteurs principaux
Modèle Xi ?i1Y1 ?imYm ei
Utilisation des formules de décomposition

59
Méthode des facteurs principauxExemple p3 et m2
Algorithme itératif on part des communautés
initiales, on estime les saturations, puis on
recalcule les communautés à laide des
saturations. On itère jusquà convergence des
communautés.
60
Application Kendall
61
Application Kendall
Facteurs principaux
Facteur principaux rotation varimax
ACP
62
Application Kendall
63
10.5 Méthode des moindres carrées
où

64
Application Kendall
65
10.6 Méthodes des moindres carrés généralisée
Modèle Xi ?i1Y1 ?imYm ei,
Var(ei) ?i

66
10.7 Méthode du maximum de vraisemblance
Modèle Xi ?i1Y1 ?imYm ei ,
Var(ei) ?i
Hypothèse Les variables Xj suivent une loi
multinormale de moyenne ? et de matrice de
covariance ?.
Notations S matrice de covariances
observée sur un échantillon de taille n
matrice de covariance
reconstituée par le modèle

Maximisation On recherche les saturations et
les spécificités estimées maximisant le
logarithme de la vraisemblance des données
67
10.8 Test de validité du modèle à m facteurs
On rejette le modèle à m facteurs au risque ? de
se tromper si
Remarque
68
Application aux données de Kendall
m 4
m 5
m 6
Ce test est connu pour rejeter trop facilement
le modèle.
69
11. Analyse Factorielle oblique
11.1. Les données
p variables aléatoires X1,, Xp, en général
centrées-réduites.
11.2. Le modèle
X1 ?11Y1 ?1mYm e1 . . . Xi ?i1Y1
?imYm ei . . . Xp ?p1Y1
?pmYm ep
où - Les facteurs communs Yj peuvent être
corrélés entre eux. - Les facteurs spécifiques
ei ,, em sont tous non corrélés entre eux et
avec les facteurs communs.
70
X1 ?11Y1 ?1mYm e1 . . . Xi ?i1Y1
?imYm ei . . . Xp ?p1Y1
?pmYm ep
Le modèle
sécrit aussi
71
Le modèle de lanalyse factorielle oblique
72
12.3. Les méthodes de rotation oblique
Formule de décomposition (p 3, m 2)
où ? (TT)-1 est une matrice de corrélation
73
Options SPSS

• Direct Oblimin Method
• A method for oblique (nonorthogonal)
  rotation. When delta
• equals 0 (the default), solutions are most
  oblique. As delta
• becomes more negative, the factors become less
  oblique.
• To override the default delta of 0, enter a
  number less than or
• equal to -0.8.

• Promax Rotation
• An oblique rotation, which allows factors to
  be correlated.
• This rotation can be calculated more quickly
  than a direct
• oblimin rotation, so it is useful for large
  datasets.

74
Application aux données de Kendall Matrice des
corrélations ? entre les facteurs
75
Matrice des saturations ?ih
Difficile à interpréter car les facteurs sont
corrélées entre eux.
76
Matrice des Cor(Xi, Yj)
Cette matrice est plus naturelle à interpréter.
77
Matrice des Cor(Xi, Yj) améliorée
Cette matrice est encore plus facile à
interpréter.