TCP out-of-order receive dstat test logs
The setup is same as TCP Window Size and RX Csum Offload Benchmark except with following netem parameters bind to the server interface.
tc qdisc add dev eth0 root netem loss 0.3% 25% duplicate 1% delay 10ms reorder 25% 50%
Following test shows the result of this patch: http://git.etherboot.org/?p=people/cooldavid/gpxe.git;a=commitdiff;h=78c30a86d60de1641595282a6333b3665c2cb091
''datat'' output on server before patch, with rxcso, 64k win
----total-cpu-usage---- -dsk/total- --net/eth0- ---paging-- ---system-- usr sys idl wai hiq siq| read writ| recv send| in out | int csw 2 0 98 0 0 0| 0 0 |6864B 154k| 0 0 |1187 1288 2 0 98 0 0 0| 0 0 |5148B 115k| 0 0 |1072 1322 1 0 99 0 0 0| 0 120k| 14k 328k| 0 0 |1274 1375 1 0 99 0 0 0| 0 0 | 11k 245k| 0 0 |1157 1322 1 1 98 0 0 0| 0 0 | 12k 273k| 0 0 |1265 1349 1 0 99 0 0 0| 0 0 |6996B 157k| 0 0 |1074 1314 1 1 98 0 0 0| 0 0 |7788B 174k| 0 0 |1166 1337 1 0 98 0 0 0| 0 0 |5082B 114k| 0 0 |1082 1264 1 0 98 0 0 0| 0 0 |8316B 186k| 0 0 |1192 1302 1 0 99 0 0 0| 0 0 |8976B 201k| 0 0 |1171 1300 1 1 98 0 0 0| 0 0 | 13k 288k| 0 0 |1247 1337 1 0 98 0 0 0| 0 0 | 10k 235k| 0 0 |1201 1343 1 1 98 0 0 0| 0 0 |6138B 138k| 0 0 |1170 1321 2 0 98 0 0 0| 0 0 |5346B 120k| 0 0 |1142 1287 2 1 98 0 0 0| 0 0 |7260B 163k| 0 0 |1227 1354 2 0 98 0 0 0| 0 0 |8580B 192k| 0 0 |1238 1322 2 0 98 0 0 0| 0 0 |9174B 206k| 0 0 |1214 1328 2 0 98 0 0 0| 0 104k|6996B 157k| 0 0 |1181 1293 2 0 97 0 0 0| 0 0 |7326B 164k| 0 0 |1203 1325 1 0 98 0 0 0| 0 0 |3234B 72k| 0 0 |1068 1282 2 0 98 0 0 0| 0 0 | 11k 248k| 0 0 |1322 1350 1 0 98 0 0 0| 0 0 |7062B 158k| 0 0 |1118 1301 2 0 98 0 0 0| 0 0 |7458B 166k| 0 0 |1185 1327 2 0 98 0 0 0| 0 0 |9570B 213k| 0 0 |1210 1297 2 0 98 0 0 0| 0 0 |7722B 173k| 0 0 |1221 1323 1 0 98 0 0 0| 0 0 |7986B 179k| 0 0 |1163 1316 2 1 98 0 0 0| 0 0 |9240B 207k| 0 0 |1230 1324 2 0 98 0 0 0| 0 56k|3828B 86k| 0 0 |1074 1259 2 0 98 0 0 0| 0 0 |8184B 183k| 0 0 |1181 1368 2 0 97 0 0 0| 0 0 | 15k 347k| 0 0 |1337 1328 1 0 98 0 0 0| 0 0 |9834B 220k| 0 0 |1274 1367 2 0 98 0 0 0| 0 0 |8382B 188k| 0 0 |1160 1310 2 0 98 0 0 0| 0 112k| 16k 371k| 0 0 |1436 1375 2 0 98 0 0 0| 0 0 | 12k 275k| 0 0 |1228 1285 1 0 98 0 0 0| 0 0 | 15k 339k| 0 0 |1314 1336 2 0 98 0 0 0| 0 0 | 16k 361k| 0 0 |1330 1321 2 0 98 0 0 0| 0 0 | 10k 234k| 0 0 |1243 1347 1 1 98 0 0 0| 0 0 |2970B 67k| 0 0 | 984 1236 1 0 98 0 0 0| 0 0 |6600B 148k| 0 0 |1156 1304 2 0 98 0 0 0| 0 0 |3432B 77k| 0 0 |1053 1289 2 0 98 0 0 0| 0 0 | 11k 260k| 0 0 |1309 1338 2 0 98 0 0 0| 0 0 |8910B 200k| 0 0 |1212 1350 2 0 98 0 0 0| 0 0 | 12k 268k| 0 0 |1275 1330 2 0 97 0 0 0| 0 0 |8712B 195k| 0 0 |1160 1263 1 0 98 0 0 0| 0 40k| 21k 479k| 0 0 |1486 1552 1 0 98 0 0 0| 0 0 | 13k 288k| 0 0 |1225 1285 2 0 98 0 0 0| 0 0 | 14k 330k| 0 0 |1333 1283 2 0 98 0 0 0| 0 0 |7722B 173k| 0 0 |1124 1314 1 1 98 0 0 0| 0 0 | 10k 237k| 0 0 |1191 1325 2 0 98 0 0 0| 0 0 | 14k 321k| 0 0 |1226 1285 2 0 98 0 0 0| 0 24k|6138B 138k| 0 0 |1198 1312 1 0 98 0 0 0| 0 0 | 10k 232k| 0 0 |1167 1315 1 0 98 0 0 0| 0 0 |6930B 155k| 0 0 |1134 1319 2 1 97 0 0 0|8192B 0 |8646B 194k| 0 0 |1231 1339 1 0 98 0 0 0| 0 0 | 13k 306k| 0 0 |1321 1320 1 1 98 0 0 0| 0 0 |5082B 114k| 0 0 |1084 1307 4 0 95 0 0 0| 0 88k|9834B 220k| 0 0 |1417 1366 1 0 98 0 0 0| 0 0 |6600B 148k| 0 0 |1124 1311 2 0 98 0 0 0| 0 0 |8910B 200k| 0 0 |1239 1348 2 0 98 0 0 0| 0 0 | 10k 234k| 0 0 |1286 1409 1 0 98 0 0 0| 0 0 | 11k 241k| 0 0 |1283 1348 2 0 98 0 0 0| 0 0 |9834B 220k| 0 0 |1235 1340 1 0 98 0 0 0| 0 88k| 14k 328k| 0 0 |1290 1321 1 0 99 0 0 0| 0 0 | 16k 359k| 0 0 |1266 1325 1 0 98 0 0 0| 0 0 | 13k 293k| 0 0 |1236 1279 1 0 99 0 0 0| 0 0 | 11k 247k| 0 0 |1170 1283 1 0 98 0 0 0| 0 0 |5676B 127k| 0 0 |1106 1317 1 0 99 0 0 0| 0 0 |9570B 214k| 0 0 |1160 1298 1 0 99 0 0 0| 0 0 |7656B 172k| 0 0 |1133 1339 1 0 98 0 0 0| 0 0 |7194B 161k| 0 0 |1154 1303 1 0 99 0 0 0| 0 0 |6864B 154k| 0 0 |1159 1341 1 0 98 0 0 0| 0 0 | 16k 359k| 0 0 |1366 1405 2 0 98 0 0 0| 0 0 | 11k 263k| 0 0 |1324 1369 2 0 98 0 0 0| 0 0 |8250B 185k| 0 0 |1256 1390 2 0 97 0 0 0| 0 0 | 11k 245k| 0 0 |1382 1369 1 0 98 0 0 0| 0 0 |9570B 214k| 0 0 |1217 1362 2 0 98 0 0 0| 0 0 |7722B 173k| 0 0 |1212 1330 2 0 98 0 0 0| 0 184k|6270B 140k| 0 0 |1238 1322 2 0 98 0 0 0| 0 0 | 12k 276k| 0 0 |1310 1331 1 0 98 0 0 0| 0 0 |6996B 157k| 0 0 |1125 1309 1 0 98 0 0 0| 0 0 |4554B 102k| 0 0 |1128 1299 2 1 97 0 0 0| 0 0 | 14k 310k| 0 0 |1303 1336 2 1 98 0 0 0| 0 0 |5940B 133k| 0 0 |1145 1316 1 0 98 0 0 0| 0 0 | 13k 296k| 0 0 |1263 1346 2 1 97 0 0 0| 0 0 |8778B 197k| 0 0 |1298 1361 2 0 97 0 0 0| 0 0 |4092B 92k| 0 0 |1214 1336 2 0 97 0 0 0| 0 0 |7458B 167k| 0 0 |1259 1349 2 0 98 0 0 0| 0 56k|9438B 211k| 0 0 |1289 1328 2 0 98 0 0 0| 0 0 |7326B 164k| 0 0 |1222 1353 2 1 97 0 0 0| 0 0 | 10k 232k| 0 0 |1597 2734 2 1 97 0 0 0| 0 0 |9372B 210k| 0 0 |1568 2169 2 0 98 0 0 0| 0 0 | 10k 232k| 0 0 |1294 1385 1 0 98 0 0 0| 0 160k| 12k 276k| 0 0 |1234 1323 2 0 98 0 0 0| 0 0 | 15k 350k| 0 0 |1334 1333 2 0 98 0 0 0| 0 0 |6930B 155k| 0 0 |1172 1356 2 0 98 0 0 0| 0 0 | 10k 240k| 0 0 |1231 1288 2 1 97 0 0 0| 0 0 |5082B 114k| 0 0 |1156 1323 2 0 98 0 0 0| 0 0 |8316B 186k| 0 0 |1159 1307 2 0 98 0 0 0| 0 48k|9042B 203k| 0 0 |1213 1339 2 0 98 0 0 0| 0 0 | 10k 234k| 0 0 |1202 1304 2 1 97 0 0 0| 0 0 |5874B 132k| 0 0 |1184 1339 2 0 98 0 0 0| 0 0 |5676B 127k| 0 0 |1136 1324 2 0 98 0 0 0| 0 0 |7788B 174k| 0 0 |1197 1316 ....... cutted
''datat'' output on server after patched, with rxcso, 64k win
----total-cpu-usage---- -dsk/total- --net/eth0- ---paging-- ---system-- usr sys idl wai hiq siq| read writ| recv send| in out | int csw 2 1 97 0 0 0| 0 0 | 158k 3621k| 0 0 |3951 5610 2 1 97 0 0 0| 0 0 | 288k 6596k| 0 0 |7099 14k 3 1 95 0 0 1| 0 0 | 288k 6612k| 0 0 |7653 13k 2 1 97 0 0 0| 0 0 | 290k 6658k| 0 0 |7464 13k 3 1 94 1 0 1| 0 6400k| 287k 6590k| 0 0 |7527 11k 3 1 95 0 0 0| 0 0 | 287k 6590k| 0 0 |7414 13k 3 1 96 0 0 0| 0 0 | 291k 6673k| 0 0 |7250 13k 2 1 97 0 0 1| 0 0 | 287k 6594k| 0 0 |7462 13k 2 1 96 0 0 1| 0 0 | 288k 6599k| 0 0 |7379 14k 2 1 96 0 0 1| 0 0 | 291k 6674k| 0 0 |7692 13k 2 1 95 1 0 0| 0 9944k| 287k 6588k| 0 0 |7759 13k 3 1 96 0 0 0| 0 0 | 288k 6599k| 0 0 |7546 14k 2 1 96 0 0 1| 0 0 | 290k 6646k| 0 0 |7918 14k 2 2 96 0 0 0| 0 0 | 287k 6591k| 0 0 |7799 13k 2 1 96 0 0 1| 0 0 | 289k 6630k| 0 0 |8008 13k 2 1 96 0 0 0| 0 0 | 290k 6641k| 0 0 |7917 12k 2 1 95 1 0 0| 0 9.9M| 288k 6610k| 0 0 |7833 13k 2 1 96 0 0 0| 0 0 | 287k 6591k| 0 0 |7401 13k 2 1 96 0 0 0| 0 0 | 290k 6646k| 0 0 |7643 17k 2 1 97 0 0 0| 0 0 | 287k 6593k| 0 0 |7346 14k 2 1 96 0 0 0| 0 0 | 287k 6594k| 0 0 |7568 13k 2 1 96 0 0 0| 0 0 | 290k 6643k| 0 0 |7557 14k 2 1 94 1 0 0| 0 9944k| 288k 6602k| 0 0 |7620 13k 2 1 96 0 0 1| 0 0 | 288k 6618k| 0 0 |7684 11k 9 2 89 0 0 1| 0 160k| 290k 6646k| 0 0 |8222 15k 11 1 86 0 0 1| 0 0 | 288k 6615k| 0 0 |8015 17k 3 1 96 0 0 1| 0 0 | 288k 6600k| 0 0 |7735 14k 2 1 96 0 0 0| 0 0 | 290k 6643k| 0 0 |7764 13k 2 1 95 1 0 0| 0 9944k| 289k 6624k| 0 0 |7797 14k 2 1 96 0 0 0| 0 0 | 288k 6602k| 0 0 |7818 13k 2 1 96 0 0 1| 0 0 | 289k 6639k| 0 0 |7538 12k 3 1 96 0 0 0| 0 0 | 289k 6622k| 0 0 |7679 12k 2 1 96 0 0 1| 0 0 | 287k 6594k| 0 0 |7717 13k 2 1 96 0 0 0| 0 0 | 290k 6646k| 0 0 |7829 13k 2 2 95 1 0 1| 0 9.9M| 289k 6631k| 0 0 |7817 12k 3 1 96 0 0 0| 0 0 | 286k 6568k| 0 0 |7462 15k 2 1 96 0 0 0| 0 0 | 290k 6647k| 0 0 |7642 13k 2 1 97 0 0 0| 0 0 | 289k 6636k| 0 0 |7438 12k 2 1 96 0 0 0| 0 0 | 288k 6605k| 0 0 |7512 12k 2 1 97 0 0 0| 0 0 | 289k 6628k| 0 0 |7858 12k 2 1 95 2 0 0| 0 9824k| 290k 6641k| 0 0 |8045 13k 2 1 96 0 0 0| 0 0 | 288k 6612k| 0 0 |8012 13k 3 1 96 0 0 1| 0 0 | 288k 6602k| 0 0 |8187 14k 2 1 96 0 0 1| 0 0 | 289k 6633k| 0 0 |8090 14k 3 1 96 0 0 1| 0 112k| 288k 6609k| 0 0 |7856 12k 2 1 96 0 0 0| 0 0 | 288k 6616k| 0 0 |7756 12k 2 1 96 0 0 0| 0 9.9M| 290k 6646k| 0 0 |7723 14k 2 1 96 0 0 0| 0 0 | 288k 6602k| 0 0 |7675 16k 2 1 96 0 0 0| 0 0 | 289k 6637k| 0 0 |8029 16k 2 1 96 0 0 1| 0 48k| 288k 6605k| 0 0 |7982 13k 2 1 96 0 0 0| 0 0 | 288k 6606k| 0 0 |7786 13k 2 1 96 0 0 1| 0 0 | 288k 6610k| 0 0 |7997 13k 3 1 94 1 0 0| 0 9936k| 289k 6627k| 0 0 |8172 14k 2 1 96 0 0 0| 0 0 | 288k 6615k| 0 0 |7745 13k 3 1 96 0 0 1| 0 0 | 288k 6618k| 0 0 |7822 13k 2 1 96 0 0 1| 0 0 | 290k 6647k| 0 0 |7730 11k 2 1 96 0 0 1| 0 0 | 288k 6596k| 0 0 |7984 14k 2 1 96 0 0 0| 0 0 | 290k 6643k| 0 0 |7811 12k 2 1 95 1 0 1| 0 9952k| 287k 6588k| 0 0 |7804 16k 2 1 96 0 0 0| 0 160k| 289k 6619k| 0 0 |7815 14k 2 1 96 0 0 0| 0 0 | 288k 6615k| 0 0 |7986 13k 2 1 96 0 0 1| 0 0 | 289k 6619k| 0 0 |7794 13k 9 2 88 0 0 1| 0 0 | 289k 6637k| 0 0 |8206 16k 2 1 96 0 0 0| 0 0 | 288k 6605k| 0 0 |7630 16k 2 1 95 1 0 1| 0 9.8M| 290k 6647k| 0 0 |7812 13k 3 1 96 0 0 0| 0 0 | 288k 6610k| 0 0 |7695 11k 2 1 96 0 0 0| 0 0 | 288k 6596k| 0 0 |7512 11k 2 1 97 0 0 0| 0 0 | 289k 6637k| 0 0 |7550 14k 3 1 96 0 0 0| 0 0 | 288k 6606k| 0 0 |7742 13k 2 1 96 0 0 0| 0 0 | 288k 6616k| 0 0 |7500 11k 2 1 95 1 0 0| 0 9816k| 289k 6634k| 0 0 |7959 15k 2 1 96 0 0 0| 0 0 | 288k 6610k| 0 0 |7950 15k 2 1 96 0 0 0| 0 0 | 288k 6607k| 0 0 |7957 13k 2 1 96 0 0 0| 0 0 | 288k 6612k| 0 0 |8087 14k 2 1 96 0 0 0| 0 0 | 288k 6596k| 0 0 |8093 14k 2 1 96 0 0 0| 0 0 | 288k 6599k| 0 0 |7924 13k 2 1 95 1 0 0| 0 9960k| 288k 6596k| 0 0 |8067 15k 2 1 96 0 0 1| 0 0 | 289k 6640k| 0 0 |7704 15k 2 1 97 0 0 0| 0 0 | 288k 6613k| 0 0 |7633 13k 2 1 96 0 0 0| 0 0 | 289k 6625k| 0 0 |7225 15k 2 1 96 0 0 0| 0 0 | 289k 6624k| 0 0 |7557 15k 2 1 96 0 0 1| 0 0 | 288k 6602k| 0 0 |7383 11k 2 1 96 1 0 0| 0 9768k| 51k 1163k| 0 0 |2254 2980
