updated benchmark results

clang_libcpp/unique_scattered_lookup.cpp.csv

@@ -1,240 +1,240 @@
 Scattered successful lookup:
 std::unordered_set;boost::unordered_set;multi_index::hashed_unique
-10000;0.205855;0.143554;0.172781
-10500;0.212072;0.150952;0.177388
-11025;0.217352;0.160858;0.183531
-11576;0.225497;0.169303;0.189357
-12154;0.232976;0.176606;0.194187
-12760;0.241713;0.132679;0.170021
-13396;0.199765;0.138709;0.173985
-14063;0.205142;0.145491;0.177534
-14763;0.211515;0.152517;0.183161
-15498;0.216204;0.159445;0.18756
-16269;0.221343;0.1651;0.191317
-17078;0.228238;0.172418;0.196053
-17927;0.235449;0.179534;0.20246
-18818;0.242941;0.185082;0.207781
-19753;0.251268;0.192023;0.213304
-20734;0.257438;0.198947;0.219685
-21764;0.262971;0.20403;0.225134
-22845;0.269208;0.210181;0.230293
-23980;0.276144;0.215432;0.235295
-25171;0.282185;0.171085;0.195228
-26421;0.231913;0.176102;0.200218
-27733;0.23588;0.180394;0.204823
-29110;0.240064;0.186258;0.209521
-30555;0.245449;0.190064;0.214433
-32072;0.250672;0.194927;0.218987
-33664;0.255709;0.200261;0.224425
-35335;0.260611;0.205559;0.229904
-37089;0.265672;0.210848;0.23571
-38930;0.271654;0.216094;0.240546
-40863;0.276864;0.221104;0.246404
-42892;0.282586;0.225695;0.25148
-45022;0.287757;0.230606;0.257205
-47258;0.293811;0.236013;0.261886
-49605;0.299993;0.18548;0.209579
-52069;0.245279;0.188942;0.213594
-54656;0.249148;0.1926;0.217452
-57372;0.253181;0.196987;0.222291
-60223;0.257115;0.201081;0.227596
-63216;0.261403;0.205408;0.23191
-66358;0.265783;0.20995;0.237004
-69657;0.27095;0.214472;0.241813
-73120;0.275767;0.219308;0.246638
-76756;0.281363;0.224416;0.252145
-80573;0.286861;0.229351;0.257437
-84580;0.292637;0.234524;0.262746
-88787;0.298735;0.239146;0.267934
-93204;0.30448;0.243418;0.272645
-97841;0.310632;0.247791;0.277647
-102709;0.316276;0.194729;0.208843
-107820;0.2576;0.198191;0.212468
-113186;0.259946;0.201648;0.216357
-118820;0.263631;0.2057;0.220408
-124735;0.267733;0.210049;0.224826
-130945;0.271942;0.214238;0.229207
-137465;0.276456;0.219116;0.234011
-144311;0.281442;0.223986;0.238789
-151499;0.287018;0.228987;0.244012
-159046;0.295479;0.234445;0.251038
-166970;0.30209;0.239573;0.254984
-175290;0.30801;0.244721;0.260248
-184026;0.314035;0.248943;0.265164
-193198;0.320096;0.253664;0.269955
-202828;0.326666;0.205236;0.219484
-212939;0.281237;0.209902;0.22763
-223555;0.296472;0.214739;0.22899
-234701;0.3018;0.220299;0.234493
-246404;0.312658;0.22637;0.241324
-258692;0.318827;0.232814;0.246799
-271594;0.326644;0.239727;0.255139
-285141;0.342809;0.245902;0.261911
-299365;0.35349;0.253464;0.270983
-314300;0.368087;0.261792;0.2805
-329981;0.384857;0.271279;0.291485
-346446;0.402643;0.280916;0.301353
-363734;0.423783;0.291554;0.314006
-381886;0.447543;0.303233;0.32743
-400945;0.468396;0.296069;0.324146
-420956;0.549424;0.301077;0.334347
-441967;0.566859;0.317145;0.330876
-464028;0.586199;0.330193;0.348121
-487192;0.603437;0.343417;0.363433
-511514;0.623565;0.360537;0.389681
-537052;0.649219;0.378824;0.404884
-563866;0.672394;0.393609;0.436926
-592020;0.695941;0.411747;0.449037
-621581;0.721358;0.430004;0.468661
-652620;0.74623;0.448048;0.490854
-685210;0.770626;0.465806;0.515337
-719429;0.79878;0.486338;0.53997
-755358;0.826652;0.504803;0.565458
-793083;0.856896;0.524493;0.556412
-832694;0.902041;0.535;0.571125
-874285;0.910153;0.5482;0.590435
-917955;0.91817;0.560091;0.599532
-963808;0.929563;0.574532;0.61631
-1011953;0.940854;0.588396;0.640112
-1062505;0.955044;0.602823;0.656983
-1115584;0.973591;0.618097;0.679192
-1171316;0.990243;0.632865;0.700121
-1229834;1.00495;0.649825;0.723389
-1291277;1.02538;0.667006;0.746737
-1355792;1.05103;0.683133;0.773219
-1423532;1.07512;0.702051;0.801009
-1494659;1.10139;0.719172;0.829836
-1569342;1.12861;0.737861;0.857577
-1647759;1.06882;0.691328;0.73004
-1730096;1.07545;0.702397;0.742968
-1816549;1.08307;0.716233;0.874153
-1907324;1.09174;0.727382;0.779793
-2002637;1.10285;0.740836;0.793922
-2102715;1.11561;0.753915;0.815774
-2207796;1.12717;0.767742;0.969249
-2318131;1.14434;0.783179;0.857872
-2433982;1.15918;0.799116;0.885998
-2555625;1.17903;0.815138;0.912094
-2683350;1.20161;0.831083;0.938837
-2817461;1.22414;0.84831;0.964377
-2958277;1.24604;0.864795;0.993823
+10000;20.3377;14.2621;17.3766
+10500;20.9041;15.0248;17.9355
+11025;21.5532;16.1116;18.603
+11576;22.3815;16.8523;19.1457
+12154;22.9094;17.459;19.6002
+12760;23.5829;13.0685;16.7205
+13396;19.4284;13.6796;16.8455
+14063;19.8091;14.1665;17.3404
+14763;20.3611;14.874;17.7235
+15498;20.8391;15.5566;18.3412
+16269;21.5586;16.1191;18.6264
+17078;22.3777;16.9535;19.1359
+17927;22.9154;17.5809;19.7103
+18818;23.6941;18.2191;20.3343
+19753;24.4806;19.0017;20.8489
+20734;25.2042;19.6523;21.4601
+21764;25.8187;20.2056;22.0142
+22845;26.4772;20.8406;22.5381
+23980;27.2046;21.3304;23.2264
+25171;27.8089;16.9318;19.0767
+26421;22.7504;17.4317;19.6098
+27733;23.1542;17.924;20.0248
+29110;23.5928;18.4481;20.4899
+30555;24.1666;18.8828;21.022
+32072;24.6734;19.3409;21.457
+33664;25.193;19.8489;21.9954
+35335;25.7252;20.4183;22.5111
+37089;26.2268;20.9783;23.1066
+38930;26.8046;21.4647;23.5586
+40863;27.3351;21.9753;24.1243
+42892;27.8985;22.4681;24.5958
+45022;28.3929;22.9576;25.059
+47258;28.9742;23.4223;25.5916
+49605;29.5968;18.3456;20.5001
+52069;24.0994;18.6668;20.8595
+54656;24.4356;19.0401;21.2408
+57372;24.8893;19.4763;21.7269
+60223;25.3;19.8726;22.1534
+63216;25.7204;20.3126;22.6477
+66358;26.1641;20.8125;23.1365
+69657;26.716;21.2308;23.5539
+73120;27.2129;21.7242;24.0378
+76756;27.7489;22.2205;24.5579
+80573;28.3132;22.725;25.0448
+84580;28.8826;23.2306;25.5707
+88787;29.485;23.696;26.0698
+93204;30.042;24.1378;26.5447
+97841;30.6421;24.566;26.992
+102709;31.1544;19.1809;20.5687
+107820;25.0847;19.5448;20.9546
+113186;25.5297;19.8821;21.3367
+118820;25.9039;20.2227;21.6628
+124735;26.296;20.657;22.1293
+130945;26.747;21.0887;22.5765
+137465;27.2298;21.5546;23.0791
+144311;27.718;22.0438;23.5677
+151499;28.3069;22.5271;24.011
+159046;28.8898;23.0756;24.5382
+166970;29.485;23.5923;25.0349
+175290;30.0692;24.1136;25.5453
+184026;30.6458;24.5334;26.0272
+193198;31.2372;25.0137;26.4979
+202828;31.8882;19.7765;21.3059
+212939;27.2321;20.329;21.7967
+223555;28.4755;20.8363;22.3727
+234701;28.7854;21.3832;22.9105
+246404;29.7054;22.1099;23.5227
+258692;30.2316;22.6164;24.3344
+271594;31.6142;23.295;24.6661
+285141;32.7993;23.9854;25.4182
+299365;33.9992;24.7947;26.3235
+314300;35.6586;25.6785;27.2361
+329981;37.3863;26.5817;28.1586
+346446;39.1563;27.5466;28.8993
+363734;41.3704;28.7186;30.0872
+381886;43.9732;30.0915;31.5649
+400945;45.9312;28.9623;29.9265
+420956;55.1555;30.2645;31.1086
+441967;56.59;30.9539;32.0566
+464028;58.5103;32.5471;33.5909
+487192;60.6576;34.1392;35.3265
+511514;62.6953;35.9841;36.9759
+537052;63.9314;37.8453;39.036
+563866;67.6176;39.3292;40.8944
+592020;70.0132;41.3231;42.8425
+621581;72.2946;43.0879;44.4974
+652620;74.6932;45.021;46.471
+685210;77.1378;46.8475;48.5735
+719429;79.6419;48.6253;50.534
+755358;82.5048;50.5304;52.4977
+793083;85.5511;53.1934;54.1525
+832694;91.4356;53.6342;55.4501
+874285;91.8364;55.4079;56.7365
+917955;93.0604;56.9939;57.8398
+963808;93.9528;58.145;58.9512
+1011953;95.1548;59.5025;60.7344
+1062505;96.468;61.0375;62.1997
+1115584;98.205;62.5782;63.9117
+1171316;99.9452;64.1591;65.7292
+1229834;101.461;65.7177;67.5006
+1291277;103.206;67.4009;69.6056
+1355792;105.854;69.3109;71.5928
+1423532;108.057;71.0296;73.6823
+1494659;110.577;72.8902;75.9266
+1569342;113.251;74.7774;78.1908
+1647759;108.556;70.2429;71.2137
+1730096;109.105;71.3112;72.3559
+1816549;109.787;72.5402;73.946
+1907324;110.732;73.8079;75.2893
+2002637;111.958;75.2199;76.4803
+2102715;113.143;76.65;78.0325
+2207796;114.254;78.0177;79.5477
+2318131;115.754;79.6281;81.1124
+2433982;117.176;81.1608;82.9922
+2555625;119.119;82.8122;84.8109
+2683350;121.189;84.5208;86.7741
+2817461;123.434;86.2298;88.3706
+2958277;125.571;87.9187;90.5453
 Scattered unsuccessful lookup:
 std::unordered_set;boost::unordered_set;multi_index::hashed_unique
-10000;0.31962;0.214505;0.228887
-10500;0.331979;0.220719;0.235097
-11025;0.341959;0.226006;0.244949
-11576;0.352273;0.232061;0.252027
-12154;0.363648;0.238831;0.258803
-12760;0.377853;0.187059;0.211782
-13396;0.272549;0.193194;0.219621
-14063;0.283502;0.20041;0.22806
-14763;0.294835;0.209987;0.237141
-15498;0.304969;0.217549;0.245975
-16269;0.314594;0.224995;0.255167
-17078;0.329193;0.236028;0.265908
-17927;0.337918;0.242138;0.272754
-18818;0.348743;0.247108;0.279856
-19753;0.360471;0.253893;0.288528
-20734;0.372644;0.25882;0.296855
-21764;0.384139;0.264673;0.303595
-22845;0.396023;0.269881;0.310326
-23980;0.407079;0.275532;0.320092
-25171;0.421859;0.215433;0.249287
-26421;0.306078;0.221666;0.257831
-27733;0.31625;0.228778;0.264978
-29110;0.326629;0.235033;0.272865
-30555;0.336956;0.242599;0.281222
-32072;0.348052;0.249822;0.28812
-33664;0.360272;0.256912;0.297701
-35335;0.370618;0.262472;0.30402
-37089;0.383962;0.268729;0.315301
-38930;0.394527;0.273348;0.322095
-40863;0.405206;0.278508;0.330268
-42892;0.417132;0.284488;0.338565
-45022;0.429456;0.289321;0.34538
-47258;0.440675;0.29469;0.353968
-49605;0.452866;0.227049;0.268781
-52069;0.317642;0.234229;0.278074
-54656;0.327311;0.240752;0.284752
-57372;0.338707;0.247656;0.293463
-60223;0.349275;0.254047;0.302152
-63216;0.36065;0.260121;0.309052
-66358;0.371858;0.266896;0.317724
-69657;0.384267;0.272733;0.325009
-73120;0.39619;0.278273;0.333392
-76756;0.408278;0.28362;0.341739
-80573;0.419482;0.288697;0.34969
-84580;0.431366;0.293649;0.357184
-88787;0.443974;0.297713;0.363814
-93204;0.456;0.30314;0.372541
-97841;0.46892;0.308406;0.381326
-102709;0.480224;0.238886;0.272773
-107820;0.332017;0.245316;0.280893
-113186;0.343625;0.252483;0.289398
-118820;0.354943;0.259234;0.296855
-124735;0.366841;0.265978;0.305616
-130945;0.379122;0.272169;0.311374
-137465;0.391021;0.278179;0.321993
-144311;0.402838;0.283198;0.329581
-151499;0.414412;0.288066;0.336451
-159046;0.426236;0.292875;0.344824
-166970;0.437925;0.297467;0.352935
-175290;0.449933;0.302518;0.361149
-184026;0.462031;0.307323;0.369328
-193198;0.475029;0.313455;0.379683
-202828;0.488473;0.249387;0.290404
-212939;0.356813;0.256804;0.302723
-223555;0.369632;0.264447;0.313147
-234701;0.38965;0.272941;0.321899
-246404;0.405941;0.283162;0.338083
-258692;0.421368;0.293237;0.349909
-271594;0.444165;0.303126;0.364007
-285141;0.468009;0.313181;0.378839
-299365;0.491051;0.323431;0.393831
-314300;0.513442;0.333761;0.407754
-329981;0.544662;0.348628;0.42996
-346446;0.571593;0.361879;0.44908
-363734;0.611418;0.382965;0.477507
-381886;0.648161;0.401527;0.504655
-400945;0.68918;0.366853;0.448939
-420956;0.677946;0.389784;0.483547
-441967;0.723244;0.414237;0.516718
-464028;0.773018;0.439545;0.545898
-487192;0.820035;0.466157;0.575888
-511514;0.872088;0.493865;0.613409
-537052;0.925186;0.525085;0.659296
-563866;0.979798;0.552512;0.699931
-592020;1.03597;0.58362;0.743457
-621581;1.09342;0.614227;0.783726
-652620;1.15183;0.646049;0.827463
-685210;1.21393;0.678972;0.875498
-719429;1.27625;0.714008;0.919436
-755358;1.34034;0.750394;0.968552
-793083;1.40611;0.649931;0.861456
-832694;1.18945;0.671943;0.904861
-874285;1.22979;0.695093;0.935734
-917955;1.27154;0.718552;0.969529
-963808;1.31445;0.744057;1.00507
-1011953;1.35883;0.768949;1.05884
-1062505;1.40633;0.7949;1.0916
-1115584;1.45568;0.822125;1.13801
-1171316;1.50532;0.850634;1.185
-1229834;1.55648;0.878742;1.23265
-1291277;1.61048;0.908693;1.28322
-1355792;1.66452;0.940316;1.33466
-1423532;1.72292;0.973295;1.38758
-1494659;1.78255;1.00877;1.44234
-1569342;1.8449;1.04511;1.49823
-1647759;1.4526;0.842589;1.22625
-1730096;1.48998;0.862685;1.26436
-1816549;1.52551;0.885579;1.31064
-1907324;1.56515;0.907983;1.3525
-2002637;1.61125;0.931845;1.39131
-2102715;1.65593;0.956522;1.439
-2207796;1.69988;0.980862;1.48741
-2318131;1.74779;1.00681;1.53254
-2433982;1.79644;1.03284;1.5841
-2555625;1.84592;1.06163;1.63712
-2683350;1.90317;1.09223;1.69196
-2817461;1.95962;1.1222;1.74332
-2958277;2.01405;1.15643;1.79799
+10000;31.1162;21.4212;22.9365
+10500;32.8932;22.2275;23.6655
+11025;33.7907;22.8024;24.6204
+11576;35.1323;23.5443;25.2661
+12154;36.4015;24.2353;25.9828
+12760;37.7467;18.6615;20.8908
+13396;26.7945;19.4238;21.8181
+14063;27.8688;20.0858;22.5816
+14763;28.8081;20.9315;23.5732
+15498;29.912;21.7243;24.4383
+16269;30.9369;22.6012;25.2041
+17078;32.0197;23.4542;26.1599
+17927;33.3914;24.3123;27.1166
+18818;34.4843;24.816;27.8603
+19753;35.6235;25.5373;28.8478
+20734;36.8871;26.055;29.5978
+21764;38.1427;26.6196;30.3311
+22845;39.28;27.1678;30.9976
+23980;40.3849;27.7858;31.7662
+25171;41.7748;21.251;24.2092
+26421;30.3119;21.9182;24.9444
+27733;31.2118;22.6266;25.7761
+29110;32.1342;23.2605;26.4872
+30555;33.18;24.0548;27.3299
+32072;34.319;24.7917;28.1264
+33664;35.3733;25.4816;28.9737
+35335;36.5988;26.1416;29.6391
+37089;37.7615;26.7705;30.6225
+38930;38.925;27.3031;31.3699
+40863;39.9229;27.8455;32.132
+42892;41.1241;28.5091;33.023
+45022;42.2747;29.0212;33.7951
+47258;43.1955;29.5963;34.6376
+49605;44.5335;22.5798;26.0429
+52069;31.451;23.2274;26.8857
+54656;32.4254;23.8767;27.5582
+57372;33.4546;24.583;28.4183
+60223;34.4446;25.2531;29.2732
+63216;35.5827;25.8872;29.9833
+66358;36.6316;26.5899;30.7867
+69657;37.9469;27.2222;31.5671
+73120;39.0779;27.8089;32.3768
+76756;40.1441;28.3639;33.1634
+80573;41.2598;28.9229;33.9606
+84580;42.4531;29.448;34.7913
+88787;43.6348;29.9343;35.551
+93204;44.6557;30.4919;36.6356
+97841;46.3266;31.0049;37.4547
+102709;47.3367;23.6579;26.7463
+107820;33.0731;24.3351;27.5377
+113186;34.1451;25.0376;28.2934
+118820;35.2395;25.7319;28.9909
+124735;36.5067;26.4408;29.7922
+130945;37.503;27.0828;30.5356
+137465;38.6682;27.7294;31.2972
+144311;39.8401;28.2701;31.9459
+151499;40.8882;28.8144;32.5945
+159046;42.1033;29.3219;33.2808
+166970;43.2253;29.8358;33.9858
+175290;44.317;30.3782;34.7105
+184026;45.5659;30.8966;35.4388
+193198;46.8857;31.4566;36.2617
+202828;48.0543;24.7169;28.0628
+212939;35.0089;25.502;29.1921
+223555;36.5663;26.3618;30.2231
+234701;38.7179;27.3065;31.0836
+246404;40.7433;28.3163;32.318
+258692;43.1409;29.4415;33.6873
+271594;45.381;30.434;34.9316
+285141;47.4351;31.7532;36.5893
+299365;50.059;32.9356;37.9993
+314300;52.7215;34.3571;39.4683
+329981;56.3869;36.0031;41.5657
+346446;59.8457;37.6397;43.8064
+363734;63.7946;39.6113;46.2901
+381886;67.4455;41.5084;48.8256
+400945;72.0575;36.9976;43.0609
+420956;67.7051;39.2495;46.0908
+441967;72.7149;41.7456;48.8628
+464028;77.6375;44.477;51.6797
+487192;82.4205;47.1331;54.3714
+511514;87.4363;50;57.6074
+537052;92.7919;52.8947;61.7605
+563866;98.263;55.8179;65.27
+592020;103.917;58.8963;69.0228
+621581;109.547;61.9282;72.4218
+652620;115.413;65.0217;76.3708
+685210;122.398;68.3186;80.2563
+719429;128.747;71.7051;84.534
+755358;135.179;75.1931;88.8747
+793083;142.349;66.0245;78.8504
+832694;118.484;68.2352;82.4479
+874285;122.507;70.5987;85.2945
+917955;126.802;72.9905;87.7687
+963808;130.988;75.4161;90.5842
+1011953;135.551;78.0115;95.2056
+1062505;140.148;80.5203;97.9272
+1115584;145.384;83.2437;101.567
+1171316;150.409;85.9628;105.275
+1229834;155.494;88.7879;109.06
+1291277;161.182;91.7967;113.356
+1355792;167.789;94.8422;117.717
+1423532;174.447;98.0672;122.298
+1494659;180.846;101.28;127.091
+1569342;187.695;104.717;132.115
+1647759;144.269;84.3191;107.006
+1730096;147.622;87.6794;111.813
+1816549;151.533;88.724;113.649
+1907324;155.925;92.377;119.162
+2002637;159.325;93.4485;119.817
+2102715;163.923;95.9317;123.533
+2207796;168.439;98.4157;127.273
+2318131;173.696;101.042;130.474
+2433982;180.195;105.015;136.901
+2555625;185.294;107.821;140.926
+2683350;191.871;110.754;145.282
+2817461;198.088;113.694;149.473
+2958277;203.911;116.823;154.201