????????? Network Performance Evaluation and Testing

1
?????????Network Performance Evaluation and
Testing

• ??? ???
• Sichuan Network Communication Key Technology
  Laboratory
• xyzhang_at_swjtu.edu.cn

2
?2? ????????

• 2.1 ?????????
• 2.2 ???????
• 2.3 ??????
• 2.4 ??????
• 2.5 ???????

3
2.1 ?????????
1????????? 1) ?? ????????,??????????????????
??????????????????????? 2) ??
??1???????(???????????)?????????????????????,????
????????? ??2????????????????????????????????
?,?????????????
4
??3(??)??????????????????????????????????,???
???????????????????????,??????????? ?????(1)
??????????,??????????(2) ?????????????,??????????
(3) ????????????????????????????????
?????????,??????,????????????

5
3) ?????????BUG???,?????????BUG????BUG???,??????
?????(????--??--???...)? ???????(???)???(??),
??????????????
6
2??????????

• 1) ????
• ??????????????,??????????????????????????????
  ????????????????,??????????????
• ???????????????,??????????(????)??,???????????
  ??????????????????????????????????????????

7

• ????????????????,????????
• ? ???????
• ? ?????????
• ? ???????
• ? ???????
• ? ????????????

8
2) ????
? ??1 ????????????,??????/??,???????????????
??????????,???????????????????????????????????????
????????????????
9

• ? ??2
• ?????????(Tester)???? ????????????????????
  ???????????(???? Passive Testing)?????????/?????
  ???????????????,???????????????/?????(????
  Active Testing)?

10

• ? ???????
• ?????????????????,???????????????????????????
• ????????????????????,???????????????????????????
  ??????????????????????????????????????
• ???????????????????????????????,????????????????
  ????????

11
3?????(Test Case)

• ?????????,?????????????????????????????
• ??1??????????????????????????????????????,???????
  ?????????????????
• ??2?????????????????????????,????????????????????
  ??????????????????????????????,??????
• ????????????,????????????,????????????,???????????

12

• ??3??????????????????????????????????????????????
  ????????????????????????
• ????????????
• ? ?????????????????????
• ? ?????????????????????????(????????)???????
• ? ??????????????????
• ?????????????,???????
• ????????????,??????????

13
?????????(??1)
????ID ?? ?? ?? ???? ?? ???? ?? ??
?? ???
14
2-1 ??????????? 2-2 Windows?????????
???????(??2)
2.1 ????????? 2.1.1 ???????????
????2.1.1
??????????? ??????
??????????????? ???????????????
???????????????????? ????????????????????
??????XXX ??????XXX
???? ????????????,TCH???62,?????????5 ????0.5h?,????????????? ?????0.5h?,????????????? ???DCS??,TCH???698,?????????0,??????? ???? ????????????,TCH???62,?????????5 ????0.5h?,????????????? ?????0.5h?,????????????? ???DCS??,TCH???698,?????????0,???????
????????? ??1 ????????? ??1
???? ????????lt2.5dB ????????2???? ??????????????1bit,?????3.69µs ???? ????????lt2.5dB ????????2???? ??????????????1bit,?????3.69µs
?????????????? ??????????????
15
3.1 GPRS???? 3.1.1???GPRS??????
???? 3.1.1 ???? 3.1.1
????GPRS???? ??????
????????????? ?????????????
????????????????? ?????????????????
?????? 1.??1?????? 2.???????GPRS???? 3.?????GPRS???? ?????? 1.??1?????? 2.???????GPRS???? 3.?????GPRS????
???? 1.??????????????(TCH???1,?????????5), 2.???????????????,????????????????? 3.??????????10?15?19,????2??? 4.?TCH?????62?124,????2?3??? 5.???????DCS??,TCH???513,?????????0 6.???????????????,????????????????? 7.??????????5?10?15,????6??? 8.?TCH?????698?885,????6?7???? ???? 1.??????????????(TCH???1,?????????5), 2.???????????????,????????????????? 3.??????????10?15?19,????2??? 4.?TCH?????62?124,????2?3??? 5.???????DCS??,TCH???513,?????????0 6.???????????????,????????????????? 7.??????????5?10?15,????6??? 8.?TCH?????698?885,????6?7????
????????? ??1 ????????? ??1
????     ???? ????     ????
????     ????????Class??,?????????? ????     ????????Class??,??????????
16
???????????,?????????????????????????????
??????????????????????????????
??????????????????????????????????????,??????????
???????????????????????????????????????????
???????????
17
4?????/??

• 1) ??/???????
• ?? (Functional) ?????????????,????????????(???
  ????)?
• ?? (Performance)?????,????????????????????????/
  ???????????????????????(Test Metrics)????

18

• 2) ????????????????????
• ???????????,???????????????(????????,?????)
• ???????????????,???????????????????(???????,?????
  ?????????,???,????)
• ?????????????????????(??????/?????????????????,??
  ?????????????)?

19
5????????????

• 1) ??????????????
• ????????/???????????????????????????????????
  ??????????,?????????????????I/O???????????????????
  ?????????????????????????
• ????(Unit Testing) /????(Integration Test)
• ??(Black box) /??(White Box) /??(Gray Box)??
• a???ß??????

20
2) ????????????,?????????

• ????????,????????????????????????????????,??,
  ???????????????????????????????????????????????I/O
  ?????,?????????????,?????????????
• ?????????????(Conformance Test)?
• ???????,??????????????
• ????????????????

21
2.2 ???????

• ????????????????????,
• 1???????????????
• 1) ????(Passive Testing)?????????????,???????????
  ??????,????????????????????????????????,??????????
  ??????????
• 2) ????(Active Testing)???????????????,??????????
  (Test Data)?????????/????,????????????????????????
  ???????AUT,DUT?

22
2???????

• 1)?????????????????,???????????????
• 2)???????????(????)???????
• 1)????????OSI/RM????7????????????????????????
• ????(Single Layer ) ???????????
• ????(Multi-Layer) ??????????????

23

• 2)????/????/??????????OSI/RM?????????????????????
  ?,???????????????????????????
• ???(?)??
• ???(?)??
• ???(?)??

24
3????????????
??????????,???????????
??????????????,???????????????????????????????????
?????????????????????????????????????,????????????
???????????????????????????????????????
??????????????,????????????????
25
?????????????????????,????????????,??????????
???????????????????????????,??????????????????????
    ???????????????????,????????????????????.???
???????
26
4?????????
1)?????/????????(Conformance Testing)
????????????????????????????????????????????????
????????????????RFC??? 2)???? (Functional
Testing) ?????????????????????????????
???????????????????,??????????????,???????
?????????,???????
27
3) ?????

• ? ??/????
• ? ??????????
• ? ???????
• ? ??????
• ? ??????
• ? ????
• ? ????(????)
• ? ?????
• ???

28
? ????(Performance Testing)
??????????????????????????????/?????(Throughp
ut)?????(Transit Delay)???(Jitter)??????(Data
Loss Rate)???????????????????????????????????????
???????? ???????????????,???????????????
???,?????????????????
29

• ??/?????(Interoperability Testing)
• ????????????,?????????????????
• ????????????????????????????????(???????)
  ????????????????
• ? ??????(Diagnostic Testing)??????????????????
• ? ??????????DUT?????????

30
5????????
???????,aß???????????????????
a?????,??????????????? ß??????,???????????
??????,?????????????,?????????????????????a???????
?????,????ß??? ???????,????????,?????????,
?????????????????
31
6????????? ??/??/??
???????????????,???????????????????????
???????????????,????????????????????????,????????
?????? ??????????????????????????????????????
??,???????????????????????,?????????????,?????????
?????????????????????????????
32
1)????(???????????)
????????????????? ? ????????????? ?
????,????????????????????? ? ??????????????(?????
?)????? ? ???????????? ? ?????????????
33
2)????(???????????)
???????????????????????????????????????,??????
?????????????????????????,????????????????????????
??,???????????????????????????????
??????????????????? 1) ?????????????????????? 2)
????????,??????????????????3)
??????????????????? 4) ???????????? ???
34
??????,????????????,?????????????????????????(
????????????)???????,???????,?????????????????????
????
35
??Vs??

• 1) ??
• ?????????????????(????)
• ??????????????????????
• 2) ??????????
• ?? ??????????????---gt??
• ?????????--gt??
• 3) ?????????
• ????????
• ??????????
• ?????BUG?????

36
3)????
??????????????????????????????????,?????????,
????????????????,????????????????????????????,????
?????,??????????,??????????????????????,?????,????
???????? ???????????????????,?????????????????
???????????????????????????
37
?????????????????
???? ? ? ? ? ???? ??????
???? ??????????,??????????????????????????? ???? ???(????????????????) ???????????????
???? ????????????,??????????????????????? ???? ?????? ????????????
???? ??????????????????,???????????? ????????? ???(?????????????) ???????????????
38
7????????????(?)
????????????????????,?????????????????????????
,??????????????? ????????????(script)?????????
??????????????????????????????????,???????????????
?????????????,??????????,????,??????????????????
????????????????
39
????????
? ?????????,???????? ? ??????????????????????,???
???? ? ????????????????????????????????(??????????
??????)? ? ????????????,?????????????????? ???????
???????????????????????????,?????????????????????
??
40
8???????
41
??
????????,???????????????????,??????????
????,???????????,???????????????????????????????
??????????,???????????????????????????,???????????
?????????????????????????????????
?????????????????
42
2.3 ??????
2.3.1 ?????? 2.3.2 ?????? 2.3.3 ????????????
43

• ????????????????????
• ?????????????????????????????????????????????????
  ??????????
• ???????????????????????????????????????
• ????????????????????????????????????

44
2.3.1 ??????

• ????????,????????????????????????????????????(?
  ?????????????)??????????????????????
• ?????????????????????????????????????,????????
  ????????,????????????????????????????,????????????
  ?????,??????????????????

45
?????????????
??
46
2.3.2 ??????
??????????????? ??????? ???? ? ???? ? ???? ?
???? ? ?????
47
1. ??????
????(Test Plan)????????????,??????????,???????
???????????????
48
2. ?????????
?????????????????,????????????????????????????
??????????????????????,????????????
1)??????? ?????????????,??????????????????????
????????????????????????????????????,?????????????
?? ??,?????????????????
49
?2-2 Windows????????????
2)?????????????? ????????????????????
??,??????????????????????????????????,???????????
3)????(Testing Suite)
???????????????????????????,??????????????????????
??????????
50
????????????
??????????????????
51
3. ????
?????????????????,???????,???????
??????????????????????
52
4????????
??????????????????????????????????????????????
??,???????????????????????????????????????????????
?????,????????????????? ????bug,????????????,?
?????????????????????????,????????????????????,???
??????????????
53
2.3.3 ????????????
????????????????????????????????????????
????????,???????????,??????????????????????,??????
????,????????????
54
???????????????(??1)
55
????????????????(??2)
First Commercial Shipment
MRD/PRD(??/??????)
56
?????????????????????????????,???????????????
????????????????????????????????????????????????
??????????????,???????????????????,???????????
????????,?????????????????????????????????,???????
?????????
57
2.4 ??????
2.4.1 ???????? 2.4.2 IEEE?????????? 2.4.3
V?? 2.4.4 ????????
58
2.4.1 ????????
??????????????????????????????????????????????
???,??????????????????
??????
???????????
59
UTITVTST ????
??1. ????????????? 1) ???????????,????????????
???????????2) ???????????????(??V??)? ??2.
??????????? ?????????????,??,??,????????????,?
??????????????
60
??3. ???????????????????????
?????????????????????????,????????????????????????
????????????,??,??,?????????V?????,????????(????),
????,??????????????? ??????,?????????????
61
??????
?????(UT)????????????????????????????????????,????
????????????? ?????(IT)???????????????????????????
???????,?????????????????????????? ?????(VT)??????
?????????????????????????(????????)? ?????(ST)????
????????,?????????????(????)????????????
62
2.4.2 IEEE??????????
IEEE Std 610-1990 ??????????????? ???compone
nt????integration????system????acceptance?
IEEE??????????
63
? ????,??????????????????,???????????????? ?
????,??????????????????(??)?????,??????????????? ?
????,????????????????,???????????????????????????
????(???)?
64
?????????

????????????????????????,????????????,????????
?????????????? IEEE????????????????????????
??????????,??????????????????????????????,??????
???????????
65
2.4.3 V??
1.???? ????????,???????,???????(??????
)????????????????,?????????,??????????
V????????????,?????????????????????????,??????????
??????,??????????? V??????????????????????????
????,???????????????????????????
66
?????????V??
67
2.?????
(1) ????????(??-???-??-??),??????????????,????????
???????,???????????,????????????? (2)
???????????????????(????????????),????????????????
??????,?????????????????????????,???????,?????????
??????? (3) ?????ST????,???????????????????????
???,?n???????n?,???n???????????
68
V???????????????????????????,?????????????????
??????????????????????,???????,???????????????
3)V????????????????????????? (??)
69
(No Transcript)
70
3. V???????
??1???????????????,???????????????????,??????????
???,??????,??????????,???????? ??2?????????????(
?????????)???????? ??3?????????????
??????
71
1) ????(UTUnit Testing)
??????,???????,???????????????????????
??????????????????(??/?)????,?????????????????????
?????????????????????,??????????????????????,?????
?????????????????????????????????,?????I/O????????
?????????????????????????????,???????????????
????????????????,????????????
72
2) ????(ITIntegration Testing)
???????,??????????,???????????????????????????
????????????????,???????????????????????????????,?
????????????????????? ???????????,????????????
??????????????????????????????????????????????????
?,???????????
73
?????????????????????????????????????????????,
??????????????????????????????????,???????????????
?????????????????,????????????,????????
??,????????,??????,???????????,???????????????????
??????
74
3) ????(VTValidation Testing?????)
(1)????? ??????,????????????????????????,??
????????,????????????????,??????????,?????????????
????????????? ????????????????????,???????????
?????????? ?????????????????
75
?????????????????????????????????????????????
??????,????????????????,??????????????????????,???
??????????????????????,???????????????????????????
?????????????? ??????????????????????????????
??,????????????????????????,?????????????????????
??????????????????,?????????,??????????????
76
(2)???? ? ?????,??????????????,???????????
????????????????????????,???????????
??????????????????,??????????,??????????,?????????
??,???????????????????????????????????????????????
??
77
??????????????? ? ??????? ? ????
? ?????????????? ? ???? ? ?????????
? ????,????????????,??????????????,???????????
????(???)?
78
? ?????,?????????????????????????????????????
?? ? ??????,?????????????????? ?
?????,?????????????????????????,?????????????(??
???????)???????,??????????? ?
??????,????????????????????????,???????????,??????
??????? ? ?????????
79
(3)??????????? ??(Validation)???(Verific
ation)?CMMI???2????,??????????????????????
????????????????????????,????????,????????????????
???????????????,?????????? ??????????????????,
?????????????????????????,????????????????????????
???????,???????,??????????????????????????????????
????
80
4)????(ST System Testing)
?????????????,?????????????????????????(??????
??)??,???????????????????????????????????????,????
????????????????????????????ST????????????????
??????????????????????,?????????????????????????,
????????????????
81
5)????(RTRegression Testing)
????????????????????????????,?????????????????
???,???????????,???????????????,??????????????????
??????????????????????????????????????????????????
?????????? ???????3???????,1)
???????????????????2) ??????????????????????3)
????????????????????????????????????????
????????,????????,????????
82
6)???? (ATAcceptance Testing)
?????????????????????????,?????,??????????????
???????????????? ??????????????????????????,?
???a????ß??(??????)? ????????????? ?
???????????,????????????????,?a?ß??? ?
??????VTIT????VTST
83
??????
???? ????? ????
???? (UT) ?????????????????,????????????????????,???????,???????? ????
???? (IT) ????????,???????????,???????????????-??????????????? ????
???? (VT) ?????????,??????????????????????????????????????,????????, ????
???? (ST) ????????????????,????????,????????????? ????
???? (RT) ?????????????????????????????????????????????????????
84
4. ???????
1) ????????????????????????,??????(gt1)?????(gt2
)????????? 2) ??????????????????????,???????????
?????????????? 3) ??????????,??????????? 4)
?????????????,???????,????????? 5)
??????BUG????????? 6) ?????????????????,???????,
??????????????????????
85
2.4.4 ????????
1. W??
86
W??????????????????????
?V????,W?????????????????????,?????????,??????????
?????????????????????????????
87
2. H??
H???????????,?????????????,?????????????(???
??????????),?????????????? ????????????,??????
?????????,??????????
88
2.5 ???????
1??????? 1)?????? ????????????,????????????????
???????,???????????????,??????????????????????
2)?????? 3)??????(??)
89
???????????????????????????,????????????????
????,??????????
??????
90
2???????
???????????,??????????????????????????,??????????
??,????????????????????????? ????????????????????
????????????????????,?????????(?????)?????????,???
?????????????????,??????????,???????????
91
????????
1) Rational Requisite Pro IBM Rational
Requisite Pro????????????????,?????????????????,??
????,??????,???????????????????Microsoft
Word???????,????????????????? 2) Telelogic DOORS
Telelogic DOOR Sreg Enterprise
Requirements Suite (DOORS/ERS)??????????????,?????
?????????????,??????????????????? DOORS/ERS
???????????????,?????????????????????????????,????
??????????????????????,?????????
92
3) Borland CaliberRM Borland CaliberRM?????Web
???????????????,????????????????,???????????Calibe
rRM ????????,???????????? 4) IRqA
IRqA????????(Requirements Egineering)??,??????????
????????????RE?????????????????? ???????????? 
???????????????????? ?????????????????????
93
3???????
???????????,?????????????,???????????????????
? ??????????????????,??????????????,?????? ?
????????,?????????,?????????,????????,???????? ?
????????????????????? ? ???BUG???????????????,???
BUG??????????????????
94
? ??????????????????,????????????????,????????????
????? ? ?????????????????????????????,???????????
?,??????????????? ? ????????,?????????????,??????
??????????,????????????
95
????????

• ??????????????????????????,?bugzilla,CQ(Clear
  Quest),T-Plan Professional, TestCenter???????Test
  Manager(IBM),QESuite ???Excel????
• ?????????,???????
• ?????????,??????????
• ??????,??????
• ?????????????
• ??????

96
??? ??????
1. ???????????,??????????? 2. ???????????????? 3.
??????,????????????????????? 4.
?????????????????????,???????????????,???????? 5.
????????????,????????(????)????4/5????,?????????
??,????? ????????????,??????,?????
97
6. ????????????????????????????????????????,?????
?????????????? (1)????????????? (2)???????????????
???,??????????????????????????????????????????????
????????? 7. ?????????????,??????? 8.
???????????