Chapter3. Clustering Analysis

1

Research Metodology
Chapter3. Clustering Analysis
2
Cluster Analysis

• ????
• ???? ?? ?? ?? ?? ???? ??
• -P?? ??? ??? N?? ???? P????? ??? N?? ?
• -????(Similarity/dissimilarity )? ??
• ????? ??? ??, ??, ?? ?? ??? ??? ???? ????
• ??? ??
• -?? ???(Disjoint) ?? ?? ?? ? ???? ??
• -??? (Hierarchical) ?? ? ??? ?? ??? ???? ??
• ?? ??? ???? ??
• -??(Overlapping)?? ?? ??? ??? ? ??? ??? ??
• -??(Fuzzy)?? ???? ???? ????

3
Cluster Analysis

• ????? ??
• ???? ??? ? ? ??? ?? ??? ?? ??
• ????? ?? ???? ?? ??
• -??? ???? ?? ? ??? ????? ????
• -???? ????(K-CA)
• ???(Similarity)? ??(Distance)? ??
• -???? ?? ? ??? ???? ????? ? ??? ?? ??
• ? ??? ????? ?? ???
• -??? ?? ? ??? ????(Dissimilarity)? ??
• ????? ????
• ???? ??? ?? ?? ???? ??? ?????
• ????? ??
• ???? 2?? ???? ??? ?? ??? ?? ??

4
Cluster Analysis

• ????? ??
• ??? ?? ????? ???? ??(??? ??? ?? ??)
• -????? ??? ??? ??? ?? ??
• ??? ???? ??? ??
• -????? ??
• -????? ????
• -???? ??
• ??? ?? ??? ??? ?? ????

5
Cluster Analysis-????

• ????? ??? ??
• ???? ??? ?? ????? ?? ???
• - ???? ??? ?? ???
• - ??? ????? ???? ? ???? ??? ??? ??
• - ????? ??? ??, ?? ?? ?? ??? ????? ???
• ??? ??
• - ??? ???? ?? ??? ??? ?? ?? ????? ???
• ? ?? ??
• ????? ??? ???? ????? ?? ?? ?? ?? ?? ???
• ???? ? ????? ??(????? ??? ??)-????? ???? ???
• ???? ??? ??-???? ???? ??? ???? ????

6
??? ?? ??(Hierarchical Clustering Method)
7
??? ?? ??(Hierarchical Clustering Method)

• ??? ?? ??
• - ???(Agglomerative)
• - ???(Divisive)
• ?? ???(Single Linkage Method)
• ?? ???(Complete Linkage Method)
• ?? ???(Average Linkage Method)
• ?? ???(Centroid Linkage Method)
• ??? ???(Median Linkage Method)
• Word ? ??

8

SAS? SPSS ??
9
??? ?? ?? SAS??

• ?????? ????? ?? ??? ???? ???? ???? ?? ??. ???
  ????? ??? ?? 6?? ??? ????? ???(Subject 10).
• (X1) ??? ?? ??
• (X2) ??? ??? ??? ??? ??
• (X3) ????? ??? ??
• (X4) ??? ?? ??? ?????? ??
• (X5) ??? ??? ??
• (X6) ??? ????? ?? ?? ? ??
• 7 Likert Scale
• ?? ?? ??(1)--------------??(4)----------------
  ?? ??(7)

10
??? ?? ??-SAS??
DATA QUEST INPUT X1-X6 CARDS 6 4 7 3 2 3 2 3
1 4 5 4 7 2 6 4 1 3 4 6 4 5 3 6 1 3 2 2 6 4 6 4 6
3 3 4 5 3 6 3 3 4 7 3 7 4 1 4 2 4 3 3 6 3 3 5 3 6
4 6 RUN PROC CLUSTER STD METHODCENTROID
TREETWO VAR X1-X6 RUN PROC TREE DATA TWO
HORIZONTAL RUN
DATA QUEST INPUT X1-X6 CARDS 0.06 40 7 3 2
3 0.02 30 1 4 5 4 0.07 20 6 4 1 3 0.04 60 4 5 3
6 0.01 30 2 2 6 4 0.06 40 6 3 3 4 0.05 30 6 3 3
4 0.07 30 7 4 1 4 0.02 40 3 3 6 3 0.03 50 3 6 4
6 RUN PROC STANDARD MENA0 STD1
OUTTWO PROC CLUSTER OUTTWO METHODCENTROID
TREETWO VAR X1-X6 RUN
METHODSINGLE (?????) METHODCOMPLETE(?????) METOD
AVERAGE(?????)
??? ?? 0, ?? 1? ???
11
??? ?? ??-??
?????? ???


Centroid
Hierarchical Cluster Analysis
The data have been
standardized to mean 0 and variance 1
Root-Mean-Square
Total-Sample Standard Deviation 1
Root-Mean-Square
Distance Between Observations 3.464102
Number
Frequency
Normalized
of
of New
Centroid
Clusters --Clusters Joined--
Cluster Distance Tie
9
OB6 OB7 2
0.281052
8 OB1 CL9
3 0.361764
7 OB3
OB8 2 0.385276
6
OB4 OB10 2
0.428126
5 OB5 OB9
2 0.476894
4 OB2
CL5 3 0.490703
3
CL8 CL7 5
0.497510
2 CL3 CL4
8 1.016941
1 CL2
CL6 10 1.029886
12
??? ?? ??-?????(Dendrogram)
1 2 3 4 5
6 7 8 9 10
1 6 7 3 8
5 9 2 4 10
13
??? ?? ?? ?? ?? ? ??

• ?? ? ?? ??????? ??? ??
• (1) 6?7? ???? ??? ??? 3?8? ???, 5? 9? ??? ???
  ???? 4? 10? ??? ? ? ??.
• 3???? ????, (6,7,1,3,8), (5, 9, 2), (4, 10)
• 2???? ????, (6,7,1,3,8,5,9,2), (4, 10)
• ??1 ?? ???
• ??? ??(6.20), ????? ??? ??(6.40), ??? ??
  ??(2.00)
• ??2 ??? ???
• ??? ??, ????? ??? ?? ??, ??? ?? ??
• ??3 ???? ????
• ??? ??? ???, ??? ?? ??? ???? ?? ??, ????? ???
  ?? ?? ??

14
??? ?? ??- ?? ??? ??


9 OB6
OB7 2 0.281052
8 OB1
CL9 3 0.361764

7 OB3 OB8 2
0.385276
6 OB4
OB10 2 0.428126
5
OB5 OB9 2
0.476894
4 OB2 CL5
3 0.490703
3
CL8 CL7 5
0.497510
2 CL3 CL4
8 1.016941
1
CL2 CL6 10
1.029886
9 OB1 OB6
2 0.101674
8
OB2 OB5 2
0.143790
7 OB7 OB8
2 0.143794
6
CL9 OB9 3
0.292047
5 CL8 CL7
4 0.359483
4
CL6 CL5 7
0.593705
3 OB4 OB10
2 0.595757
2
CL4 OB3 8
0.860206
1 CL2 CL3
10 1.336713
??? ??
???? ??
15
??? ?? ??-SPSS??
16
Non- Hierarchical Clustering Method
17
K-????

• K-????
• ???? ?????? ?? ???
• ??? ????? K? ???? ??? ??
• K? ?? ?? ????? ?????? ??
• ?? ???? ??? ?? ? ?? ?? ??

K?? ???? ??
???? ??/?? ??
? ??? ?? ?? ????
????
18
K-?? ?? SAS ??
DATA QUEST INPUT X1-X6 CARDS 6 4 7 3 2 3 2 3
1 4 5 4 7 2 6 4 1 3 4 6 4 5 3 6 1 3 2 2 6 4 6 4 6
3 3 4 5 3 6 3 3 4 7 3 7 4 1 4 2 4 3 3 6 3 3 5 3 6
4 6 RUN PROC STANDARD MEAN0 STD1
OUTTWO PROC FASTCLUS DATATWO LIST
MAXCLUSTERS3 MAXITER10 VAR X1-X6 RUN
DATA QUEST INPUT X1-X6 CARDS 0.06 40 7 3 2
3 0.02 30 1 4 5 4 0.07 20 6 4 1 3 0.04 60 4 5 3
6 0.01 30 2 2 6 4 0.06 40 6 3 3 4 0.05 30 6 3 3
4 0.07 30 7 4 1 4 0.02 40 3 3 6 3 0.03 50 3 6 4
6 RUN PROC STANDARD MEAN0 STD1
OUTTWO PROC FASTCLUS DATATWO LIST
MAXCLUSTERS3 MAXITER10 VAR X1-X6 RUN
??? ??
?? ?? ??
? ??? ??? ????? ??? ??? ?? Seed??? ??
Seed? ???? ?? ?? ?? ?
19
Non- Hierarchical Clustering Method


FASTCLUS Procedure
ReplaceFULL Radius0 Maxclusters3
Maxiter10

Initial Seeds
Cluster X1 X2
X3 X4 X5
X6
--------------------------------------------
--------------------------------------------------
-- 1
-0.13553 1.98361 -0.23009
1.12117 -0.21764 1.72648
2 -1.49079
-0.60371 -1.15045 -1.46615
1.41468 -0.09087
3 1.21974 -1.46615
0.69027 0.25873 -1.30586
-0.99954
Minimum Distance Between
Initial Seeds 4.694619

Relative Change in Cluster Seeds

Iteration Criterion 1
2 3
--------------------
-----------------------------------------

1 0.6465 0.1580
0.2174 0.3084
2
0.4157 0 0 0

Convergence criterion is
satisfied.

20
??? ?? ??- ?? ? ??? ????

Cluster
Listing Obs Cluster Distance from Seed
------------------------------------------
1 3 0.98828 2 2
1.13323 3 3
1.44798 4 1 0.74154
5 2 1.02068 6
3 1.03211 7 3
0.95115 8 3
0.96568 9 2 0.98229
10 1 0.74154 Criterion
Based on Final Seeds 0.41566

Cluster
Listing Obs Cluster Distance from Seed
----------------------------------------
1 1 5.6886 2
1 6.7350 3 3
6.7495 4 2
5.0744 5 1 6.5544
6 1 4.7917 7
3 3.6818 8 3
3.4960 9 1
4.4227 10 2 5.0744
Criterion Based on Final Seeds 2.1834
??? ??
???? ??
??1 (4, 10) ??2 (2, 5, 9) ??3(1, 3, 6, 7, 8)
??1 (1, 2, 5, 6, 9) ??2 (4, 10) ??3 (3, 7, 8)