=== TCP out-of-order receive dstat test logs === The setup is same as [[.:benchmark|TCP Window Size and RX Csum Offload Benchmark]] except with following netem parameters bind to the server interface. tc qdisc add dev eth0 root netem loss 0.3% 25% duplicate 1% delay 10ms reorder 25% 50% Following test shows the result of this patch: http://git.etherboot.org/?p=people/cooldavid/gpxe.git;a=commitdiff;h=78c30a86d60de1641595282a6333b3665c2cb091 == ''datat'' output on server before patch, with rxcso, 64k win == ----total-cpu-usage---- -dsk/total- --net/eth0- ---paging-- ---system-- usr sys idl wai hiq siq| read writ| recv send| in out | int csw 2 0 98 0 0 0| 0 0 |6864B 154k| 0 0 |1187 1288 2 0 98 0 0 0| 0 0 |5148B 115k| 0 0 |1072 1322 1 0 99 0 0 0| 0 120k| 14k 328k| 0 0 |1274 1375 1 0 99 0 0 0| 0 0 | 11k 245k| 0 0 |1157 1322 1 1 98 0 0 0| 0 0 | 12k 273k| 0 0 |1265 1349 1 0 99 0 0 0| 0 0 |6996B 157k| 0 0 |1074 1314 1 1 98 0 0 0| 0 0 |7788B 174k| 0 0 |1166 1337 1 0 98 0 0 0| 0 0 |5082B 114k| 0 0 |1082 1264 1 0 98 0 0 0| 0 0 |8316B 186k| 0 0 |1192 1302 1 0 99 0 0 0| 0 0 |8976B 201k| 0 0 |1171 1300 1 1 98 0 0 0| 0 0 | 13k 288k| 0 0 |1247 1337 1 0 98 0 0 0| 0 0 | 10k 235k| 0 0 |1201 1343 1 1 98 0 0 0| 0 0 |6138B 138k| 0 0 |1170 1321 2 0 98 0 0 0| 0 0 |5346B 120k| 0 0 |1142 1287 2 1 98 0 0 0| 0 0 |7260B 163k| 0 0 |1227 1354 2 0 98 0 0 0| 0 0 |8580B 192k| 0 0 |1238 1322 2 0 98 0 0 0| 0 0 |9174B 206k| 0 0 |1214 1328 2 0 98 0 0 0| 0 104k|6996B 157k| 0 0 |1181 1293 2 0 97 0 0 0| 0 0 |7326B 164k| 0 0 |1203 1325 1 0 98 0 0 0| 0 0 |3234B 72k| 0 0 |1068 1282 2 0 98 0 0 0| 0 0 | 11k 248k| 0 0 |1322 1350 1 0 98 0 0 0| 0 0 |7062B 158k| 0 0 |1118 1301 2 0 98 0 0 0| 0 0 |7458B 166k| 0 0 |1185 1327 2 0 98 0 0 0| 0 0 |9570B 213k| 0 0 |1210 1297 2 0 98 0 0 0| 0 0 |7722B 173k| 0 0 |1221 1323 1 0 98 0 0 0| 0 0 |7986B 179k| 0 0 |1163 1316 2 1 98 0 0 0| 0 0 |9240B 207k| 0 0 |1230 1324 2 0 98 0 0 0| 0 56k|3828B 86k| 0 0 |1074 1259 2 0 98 0 0 0| 0 0 |8184B 183k| 0 0 |1181 1368 2 0 97 0 0 0| 0 0 | 15k 347k| 0 0 |1337 1328 1 0 98 0 0 0| 0 0 |9834B 220k| 0 0 |1274 1367 2 0 98 0 0 0| 0 0 |8382B 188k| 0 0 |1160 1310 2 0 98 0 0 0| 0 112k| 16k 371k| 0 0 |1436 1375 2 0 98 0 0 0| 0 0 | 12k 275k| 0 0 |1228 1285 1 0 98 0 0 0| 0 0 | 15k 339k| 0 0 |1314 1336 2 0 98 0 0 0| 0 0 | 16k 361k| 0 0 |1330 1321 2 0 98 0 0 0| 0 0 | 10k 234k| 0 0 |1243 1347 1 1 98 0 0 0| 0 0 |2970B 67k| 0 0 | 984 1236 1 0 98 0 0 0| 0 0 |6600B 148k| 0 0 |1156 1304 2 0 98 0 0 0| 0 0 |3432B 77k| 0 0 |1053 1289 2 0 98 0 0 0| 0 0 | 11k 260k| 0 0 |1309 1338 2 0 98 0 0 0| 0 0 |8910B 200k| 0 0 |1212 1350 2 0 98 0 0 0| 0 0 | 12k 268k| 0 0 |1275 1330 2 0 97 0 0 0| 0 0 |8712B 195k| 0 0 |1160 1263 1 0 98 0 0 0| 0 40k| 21k 479k| 0 0 |1486 1552 1 0 98 0 0 0| 0 0 | 13k 288k| 0 0 |1225 1285 2 0 98 0 0 0| 0 0 | 14k 330k| 0 0 |1333 1283 2 0 98 0 0 0| 0 0 |7722B 173k| 0 0 |1124 1314 1 1 98 0 0 0| 0 0 | 10k 237k| 0 0 |1191 1325 2 0 98 0 0 0| 0 0 | 14k 321k| 0 0 |1226 1285 2 0 98 0 0 0| 0 24k|6138B 138k| 0 0 |1198 1312 1 0 98 0 0 0| 0 0 | 10k 232k| 0 0 |1167 1315 1 0 98 0 0 0| 0 0 |6930B 155k| 0 0 |1134 1319 2 1 97 0 0 0|8192B 0 |8646B 194k| 0 0 |1231 1339 1 0 98 0 0 0| 0 0 | 13k 306k| 0 0 |1321 1320 1 1 98 0 0 0| 0 0 |5082B 114k| 0 0 |1084 1307 4 0 95 0 0 0| 0 88k|9834B 220k| 0 0 |1417 1366 1 0 98 0 0 0| 0 0 |6600B 148k| 0 0 |1124 1311 2 0 98 0 0 0| 0 0 |8910B 200k| 0 0 |1239 1348 2 0 98 0 0 0| 0 0 | 10k 234k| 0 0 |1286 1409 1 0 98 0 0 0| 0 0 | 11k 241k| 0 0 |1283 1348 2 0 98 0 0 0| 0 0 |9834B 220k| 0 0 |1235 1340 1 0 98 0 0 0| 0 88k| 14k 328k| 0 0 |1290 1321 1 0 99 0 0 0| 0 0 | 16k 359k| 0 0 |1266 1325 1 0 98 0 0 0| 0 0 | 13k 293k| 0 0 |1236 1279 1 0 99 0 0 0| 0 0 | 11k 247k| 0 0 |1170 1283 1 0 98 0 0 0| 0 0 |5676B 127k| 0 0 |1106 1317 1 0 99 0 0 0| 0 0 |9570B 214k| 0 0 |1160 1298 1 0 99 0 0 0| 0 0 |7656B 172k| 0 0 |1133 1339 1 0 98 0 0 0| 0 0 |7194B 161k| 0 0 |1154 1303 1 0 99 0 0 0| 0 0 |6864B 154k| 0 0 |1159 1341 1 0 98 0 0 0| 0 0 | 16k 359k| 0 0 |1366 1405 2 0 98 0 0 0| 0 0 | 11k 263k| 0 0 |1324 1369 2 0 98 0 0 0| 0 0 |8250B 185k| 0 0 |1256 1390 2 0 97 0 0 0| 0 0 | 11k 245k| 0 0 |1382 1369 1 0 98 0 0 0| 0 0 |9570B 214k| 0 0 |1217 1362 2 0 98 0 0 0| 0 0 |7722B 173k| 0 0 |1212 1330 2 0 98 0 0 0| 0 184k|6270B 140k| 0 0 |1238 1322 2 0 98 0 0 0| 0 0 | 12k 276k| 0 0 |1310 1331 1 0 98 0 0 0| 0 0 |6996B 157k| 0 0 |1125 1309 1 0 98 0 0 0| 0 0 |4554B 102k| 0 0 |1128 1299 2 1 97 0 0 0| 0 0 | 14k 310k| 0 0 |1303 1336 2 1 98 0 0 0| 0 0 |5940B 133k| 0 0 |1145 1316 1 0 98 0 0 0| 0 0 | 13k 296k| 0 0 |1263 1346 2 1 97 0 0 0| 0 0 |8778B 197k| 0 0 |1298 1361 2 0 97 0 0 0| 0 0 |4092B 92k| 0 0 |1214 1336 2 0 97 0 0 0| 0 0 |7458B 167k| 0 0 |1259 1349 2 0 98 0 0 0| 0 56k|9438B 211k| 0 0 |1289 1328 2 0 98 0 0 0| 0 0 |7326B 164k| 0 0 |1222 1353 2 1 97 0 0 0| 0 0 | 10k 232k| 0 0 |1597 2734 2 1 97 0 0 0| 0 0 |9372B 210k| 0 0 |1568 2169 2 0 98 0 0 0| 0 0 | 10k 232k| 0 0 |1294 1385 1 0 98 0 0 0| 0 160k| 12k 276k| 0 0 |1234 1323 2 0 98 0 0 0| 0 0 | 15k 350k| 0 0 |1334 1333 2 0 98 0 0 0| 0 0 |6930B 155k| 0 0 |1172 1356 2 0 98 0 0 0| 0 0 | 10k 240k| 0 0 |1231 1288 2 1 97 0 0 0| 0 0 |5082B 114k| 0 0 |1156 1323 2 0 98 0 0 0| 0 0 |8316B 186k| 0 0 |1159 1307 2 0 98 0 0 0| 0 48k|9042B 203k| 0 0 |1213 1339 2 0 98 0 0 0| 0 0 | 10k 234k| 0 0 |1202 1304 2 1 97 0 0 0| 0 0 |5874B 132k| 0 0 |1184 1339 2 0 98 0 0 0| 0 0 |5676B 127k| 0 0 |1136 1324 2 0 98 0 0 0| 0 0 |7788B 174k| 0 0 |1197 1316 ....... cutted == ''datat'' output on server after patched, with rxcso, 64k win == ----total-cpu-usage---- -dsk/total- --net/eth0- ---paging-- ---system-- usr sys idl wai hiq siq| read writ| recv send| in out | int csw 2 1 97 0 0 0| 0 0 | 158k 3621k| 0 0 |3951 5610 2 1 97 0 0 0| 0 0 | 288k 6596k| 0 0 |7099 14k 3 1 95 0 0 1| 0 0 | 288k 6612k| 0 0 |7653 13k 2 1 97 0 0 0| 0 0 | 290k 6658k| 0 0 |7464 13k 3 1 94 1 0 1| 0 6400k| 287k 6590k| 0 0 |7527 11k 3 1 95 0 0 0| 0 0 | 287k 6590k| 0 0 |7414 13k 3 1 96 0 0 0| 0 0 | 291k 6673k| 0 0 |7250 13k 2 1 97 0 0 1| 0 0 | 287k 6594k| 0 0 |7462 13k 2 1 96 0 0 1| 0 0 | 288k 6599k| 0 0 |7379 14k 2 1 96 0 0 1| 0 0 | 291k 6674k| 0 0 |7692 13k 2 1 95 1 0 0| 0 9944k| 287k 6588k| 0 0 |7759 13k 3 1 96 0 0 0| 0 0 | 288k 6599k| 0 0 |7546 14k 2 1 96 0 0 1| 0 0 | 290k 6646k| 0 0 |7918 14k 2 2 96 0 0 0| 0 0 | 287k 6591k| 0 0 |7799 13k 2 1 96 0 0 1| 0 0 | 289k 6630k| 0 0 |8008 13k 2 1 96 0 0 0| 0 0 | 290k 6641k| 0 0 |7917 12k 2 1 95 1 0 0| 0 9.9M| 288k 6610k| 0 0 |7833 13k 2 1 96 0 0 0| 0 0 | 287k 6591k| 0 0 |7401 13k 2 1 96 0 0 0| 0 0 | 290k 6646k| 0 0 |7643 17k 2 1 97 0 0 0| 0 0 | 287k 6593k| 0 0 |7346 14k 2 1 96 0 0 0| 0 0 | 287k 6594k| 0 0 |7568 13k 2 1 96 0 0 0| 0 0 | 290k 6643k| 0 0 |7557 14k 2 1 94 1 0 0| 0 9944k| 288k 6602k| 0 0 |7620 13k 2 1 96 0 0 1| 0 0 | 288k 6618k| 0 0 |7684 11k 9 2 89 0 0 1| 0 160k| 290k 6646k| 0 0 |8222 15k 11 1 86 0 0 1| 0 0 | 288k 6615k| 0 0 |8015 17k 3 1 96 0 0 1| 0 0 | 288k 6600k| 0 0 |7735 14k 2 1 96 0 0 0| 0 0 | 290k 6643k| 0 0 |7764 13k 2 1 95 1 0 0| 0 9944k| 289k 6624k| 0 0 |7797 14k 2 1 96 0 0 0| 0 0 | 288k 6602k| 0 0 |7818 13k 2 1 96 0 0 1| 0 0 | 289k 6639k| 0 0 |7538 12k 3 1 96 0 0 0| 0 0 | 289k 6622k| 0 0 |7679 12k 2 1 96 0 0 1| 0 0 | 287k 6594k| 0 0 |7717 13k 2 1 96 0 0 0| 0 0 | 290k 6646k| 0 0 |7829 13k 2 2 95 1 0 1| 0 9.9M| 289k 6631k| 0 0 |7817 12k 3 1 96 0 0 0| 0 0 | 286k 6568k| 0 0 |7462 15k 2 1 96 0 0 0| 0 0 | 290k 6647k| 0 0 |7642 13k 2 1 97 0 0 0| 0 0 | 289k 6636k| 0 0 |7438 12k 2 1 96 0 0 0| 0 0 | 288k 6605k| 0 0 |7512 12k 2 1 97 0 0 0| 0 0 | 289k 6628k| 0 0 |7858 12k 2 1 95 2 0 0| 0 9824k| 290k 6641k| 0 0 |8045 13k 2 1 96 0 0 0| 0 0 | 288k 6612k| 0 0 |8012 13k 3 1 96 0 0 1| 0 0 | 288k 6602k| 0 0 |8187 14k 2 1 96 0 0 1| 0 0 | 289k 6633k| 0 0 |8090 14k 3 1 96 0 0 1| 0 112k| 288k 6609k| 0 0 |7856 12k 2 1 96 0 0 0| 0 0 | 288k 6616k| 0 0 |7756 12k 2 1 96 0 0 0| 0 9.9M| 290k 6646k| 0 0 |7723 14k 2 1 96 0 0 0| 0 0 | 288k 6602k| 0 0 |7675 16k 2 1 96 0 0 0| 0 0 | 289k 6637k| 0 0 |8029 16k 2 1 96 0 0 1| 0 48k| 288k 6605k| 0 0 |7982 13k 2 1 96 0 0 0| 0 0 | 288k 6606k| 0 0 |7786 13k 2 1 96 0 0 1| 0 0 | 288k 6610k| 0 0 |7997 13k 3 1 94 1 0 0| 0 9936k| 289k 6627k| 0 0 |8172 14k 2 1 96 0 0 0| 0 0 | 288k 6615k| 0 0 |7745 13k 3 1 96 0 0 1| 0 0 | 288k 6618k| 0 0 |7822 13k 2 1 96 0 0 1| 0 0 | 290k 6647k| 0 0 |7730 11k 2 1 96 0 0 1| 0 0 | 288k 6596k| 0 0 |7984 14k 2 1 96 0 0 0| 0 0 | 290k 6643k| 0 0 |7811 12k 2 1 95 1 0 1| 0 9952k| 287k 6588k| 0 0 |7804 16k 2 1 96 0 0 0| 0 160k| 289k 6619k| 0 0 |7815 14k 2 1 96 0 0 0| 0 0 | 288k 6615k| 0 0 |7986 13k 2 1 96 0 0 1| 0 0 | 289k 6619k| 0 0 |7794 13k 9 2 88 0 0 1| 0 0 | 289k 6637k| 0 0 |8206 16k 2 1 96 0 0 0| 0 0 | 288k 6605k| 0 0 |7630 16k 2 1 95 1 0 1| 0 9.8M| 290k 6647k| 0 0 |7812 13k 3 1 96 0 0 0| 0 0 | 288k 6610k| 0 0 |7695 11k 2 1 96 0 0 0| 0 0 | 288k 6596k| 0 0 |7512 11k 2 1 97 0 0 0| 0 0 | 289k 6637k| 0 0 |7550 14k 3 1 96 0 0 0| 0 0 | 288k 6606k| 0 0 |7742 13k 2 1 96 0 0 0| 0 0 | 288k 6616k| 0 0 |7500 11k 2 1 95 1 0 0| 0 9816k| 289k 6634k| 0 0 |7959 15k 2 1 96 0 0 0| 0 0 | 288k 6610k| 0 0 |7950 15k 2 1 96 0 0 0| 0 0 | 288k 6607k| 0 0 |7957 13k 2 1 96 0 0 0| 0 0 | 288k 6612k| 0 0 |8087 14k 2 1 96 0 0 0| 0 0 | 288k 6596k| 0 0 |8093 14k 2 1 96 0 0 0| 0 0 | 288k 6599k| 0 0 |7924 13k 2 1 95 1 0 0| 0 9960k| 288k 6596k| 0 0 |8067 15k 2 1 96 0 0 1| 0 0 | 289k 6640k| 0 0 |7704 15k 2 1 97 0 0 0| 0 0 | 288k 6613k| 0 0 |7633 13k 2 1 96 0 0 0| 0 0 | 289k 6625k| 0 0 |7225 15k 2 1 96 0 0 0| 0 0 | 289k 6624k| 0 0 |7557 15k 2 1 96 0 0 1| 0 0 | 288k 6602k| 0 0 |7383 11k 2 1 96 1 0 0| 0 9768k| 51k 1163k| 0 0 |2254 2980