The results below are organized as follows:

  • each table displays the solver’s performance for individual problem instances for the given task under different time limits
  • table values are normalized scores for each evaluated problem as outlined in Evaluation Criteria

PR

overall

Problem 20sec 1200sec 3600sec
1a7w 0.0 (nan) 0.0 (nan) 0.0 (nan)
1aie 0.0 (nan) 0.0 (nan) 0.0 (nan)
1b2v 0.0 (nan) 0.0 (nan) 0.0 (nan)
1bxv 0.0 (nan) 0.0 (nan) 0.0 (nan)
1cpq 0.0 (nan) 0.0 (nan) 0.0 (nan)
1ctj 0.0 (nan) 0.0 (nan) 100.0 (-13.3)
1cxy 100.0 (-38.0) 0.0 (nan) 0.0 (nan)
1f94 99.7 (-61.4) 0.0 (nan) 0.0 (nan)
1fas 0.0 (nan) 0.0 (nan) 0.0 (nan)
1g6x 0.0 (nan) 0.0 (nan) 0.0 (nan)
1jer 0.0 (nan) 0.0 (nan) 0.0 (nan)
1kp6 0.0 (nan) 0.0 (nan) 0.0 (nan)
1nkd 0.0 (nan) 100.0 (-8.8) 100.0 (-8.8)
1npl 0.0 (nan) 0.0 (nan) 0.0 (nan)
1qt9 100.0 (-59.7) 0.0 (nan) 0.0 (nan)
1rfs 100.0 (-50.6) 0.0 (nan) 100.0 (-50.6)
1svy 100.0 (-38.6) 0.0 (nan) 0.0 (nan)
1vfy 100.0 (-20.1) 0.0 (nan) 0.0 (nan)
2rta 0.0 (nan) 0.0 (nan) 0.0 (nan)
BN_12 99.9 (-3.6) 0.0 (nan) 0.0 (nan)
BN_13 100.0 (-2.3) 0.0 (nan) 0.0 (nan)
BN_15 100.0 (-5.7) 0.0 (nan) 0.0 (nan)
BN_31 0.0 (nan) 0.0 (nan) 0.0 (nan)
BN_74 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_10_01-0006 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_10_01-0009 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_10_02-0009 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_10_03-0009 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_10_03-0010 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_15_01-0008 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_15_02-0008 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_15_03-0008 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_15_03-0010 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_20_01-0009 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_20_02-0009 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_20_03-0010 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_22_01-0006 0.0 (nan) 0.0 (nan) 0.0 (nan)
blockmap_22_03-0009 0.0 (nan) 0.0 (nan) 0.0 (nan)
bwt3ac.wcsp 0.0 (nan) 0.0 (nan) 0.0 (nan)
fs-07 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_04-0000 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_04-0001 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_04-0002 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_04-0003 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_04-0007 0.0 (nan) 0.0 (nan) 98.4 (-14.9)
mastermind_03_08_04-0008 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_04-0010 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_04-0011 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_04-0012 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_04-0013 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_04-0014 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_04-0015 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_05-0000 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_05-0001 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_05-0003 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_05-0004 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_05-0008 0.0 (nan) 98.3 (-20.3) 0.0 (nan)
mastermind_03_08_05-0009 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_05-0011 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_05-0012 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_05-0013 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_05-0014 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_03_08_05-0015 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_03-0000 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_03-0011 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_03-0012 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_03-0013 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_03-0014 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_03-0015 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_04-0000 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_04-0001 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_04-0002 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_04-0003 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_04-0004 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_04-0005 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_04-0011 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_04-0012 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_04-0013 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_04-0014 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_04_08_04-0015 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_05_08_03-0000 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_05_08_03-0001 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_05_08_03-0002 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_05_08_03-0003 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_05_08_03-0004 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_05_08_03-0009 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_05_08_03-0011 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_05_08_03-0012 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_05_08_03-0013 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_05_08_03-0014 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_05_08_03-0015 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_06_08_03-0000 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_06_08_03-0001 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_06_08_03-0002 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_06_08_03-0003 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_06_08_03-0005 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_06_08_03-0009 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_06_08_03-0011 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_06_08_03-0012 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_06_08_03-0014 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_06_08_03-0015 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_10_08_03-0001 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_10_08_03-0003 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_10_08_03-0004 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_10_08_03-0008 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_10_08_03-0009 0.0 (nan) 0.0 (nan) 0.0 (nan)
mastermind_10_08_03-0010 0.0 (nan) 0.0 (nan) 0.0 (nan)
myciel5g_3.wcsp 44.3 (-19.1) 0.0 (nan) 0.0 (nan)
myciel5g_4.wcsp 73.3 (0.1) 0.0 (nan) 0.0 (nan)
or_chain_1.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_102.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_106.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_107.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_12.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_128.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_132.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_138.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_140.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_149.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_15.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_150.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_153.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_155.fg 99.0 (-10.0) 0.0 (nan) 0.0 (nan)
or_chain_161.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_186.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_188.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_198.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_209.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_242.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_4.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_53.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_61.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_64.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
or_chain_90.fg 0.0 (nan) 0.0 (nan) 0.0 (nan)
pedigree51 0.0 (nan) 99.2 (-76.7) 0.0 (nan)
queen5_5_3.wcsp 0.0 (nan) 0.0 (nan) 0.0 (nan)
queen5_5_4.wcsp 29.4 (-4.9) 0.0 (nan) 0.0 (nan)
rus2_20_40_0_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_0_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_0_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_1_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_1_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_1_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_2_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_2_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_2_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_3_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_3_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_3_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_4_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_4_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_4_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_5_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_5_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_5_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_6_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_6_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_6_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_7_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_7_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_7_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_8_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_8_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_8_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_9_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_9_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus2_20_40_9_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_0_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_0_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_0_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_1_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_1_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_1_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_2_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_2_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_2_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_3_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_3_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_3_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_4_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_4_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_4_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_5_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_5_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_5_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_6_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_6_2 0.0 (nan) 99.5 (981.6) 0.0 (nan)
rus_20_40_6_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_7_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_7_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_7_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_8_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_8_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_8_3 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_9_1 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_9_2 0.0 (nan) 0.0 (nan) 0.0 (nan)
rus_20_40_9_3 0.0 (nan) 0.0 (nan) 0.0 (nan)

Updated: