Subject: rating list of deterministic chess engines Thu Apr 18, 2024 6:02 am
last rating list that I have was the following. engines were tested to be deterministic but I am not sure they were deterministic after I saw a problem.
I now nake a new rating list and I would like a tool to check that every game is played even number of times(usually 2)
Here is my last rating list and I start with the same engines from scratch.
Subject: Re: rating list of deterministic chess engines Thu Apr 18, 2024 6:43 am
league 1024 result
Code:
Result: ------------------------------------------------------------------------------------------  #  name              games   wins  draws  losses  score   elo   +   -  1. Stockfish 16.1 1024nodes     84    78    4    2    80   532  135  103  2. Stockfish 15 1024 nodes      84    58    16    10    66   270  80  74  3. Velvet v7.3.0 1024 nodes     84    62    4    18    64   265  84  77  4. PlentyChess 1.0.0 1024 nodes   84    58    10    16    63   247  80  75  5. Viridithas 12.0.0 1024 nodes   84    50    18    16    59   194  74  71  6. SmarThink 1.98 1024 nodes     84    54    6    24    57   165  78  75  7. Altair 7.0.0 1024 nodes      84    54    4    26    56   161  77  74  8. Caissa 1.18 1024 nodes      84    52    6    26    55   141  77  73  9. Alexandria-6.1.0 1024 nodes    84    46    12    26    52   121  72  71 10. Seer 2.8.0 1024 nodes       84    46    10    28    51   106  72  70 11. Berserk 13 1024 nodes       84    40    14    30    47   66  70  70 12. Obsidian 11.0 1024nodes      84    36    4    44    38   -52  74  75 13. Rubi20240112 1024nodes      84    30    8    46    34   -92  73  75 14. Igel 3.5.0 1024 nodes       84    26    14    44    33   -93  71  73 15. Koivisto 9.0 1024 nodes      84    26    14    44    33   -99  70  72 16. Clover 6.1 1024 nodes       84    30    4    50    32  -113  75  79 17. Stockfish 11 1024 nodes      84    24    12    48    30  -126  71  74 18. Black Marlin 9.0 1024 nodes    84    24    6    54    27  -176  74  78 19. Stash v35.0 1024 nodes      84    8    12    64    14  -321  80  88 20. Movei00_8_438 1024 nodes     84    14    4    66    16  -331  82  91 21. Fridolin 3.10 1024 nodes     84    8    4    72    10  -408  91  106 22. Blunder 8.5.5 1024  nodes     84    4    6    74    7  -459  93  112
Cross table: ------------------------------------------------------------------------------------------  #  name               score  games     1     2     3     4     5     6     7     8     9     10     11     12     13     14     15     16     17     18     19     20     21     22  1. Stockfish 16.1 1024nodes       80    84     x    0101    1111    =1=1    1=1=    1111    1111    1111    1111    1111    1111    1111    1111    1111    1111    1111    1111    1111    1111    1111    1111    1111  2. Stockfish 15 1024 nodes       66    84    1010     x    1=1=    =1=1    ====    0101    1111    1111    1111    1=1=    =0=0    1010    1111    1=1=    1111    1111    1111    1010    1=1=    1111    1111    1111  3. Velvet v7.3.0 1024 nodes       64    84    0000    0=0=     x    1010    0101    1111    1010    1010    =0=0    1111    1111    1111    1111    1111    1111    1111    1111    1111    1111    0101    1111    1111  4. PlentyChess 1.0.0 1024 nodes     63    84    =0=0    =0=0    0101     x    0000    1010    1111    0101    =1=1    1=1=    1111    1111    1010    1=1=    1111    1111    1111    1111    1111    1111    1111    1111  5. Viridithas 12.0.0 1024 nodes     59    84    0=0=    ====    1010    1111     x    0000    0101    0101    ====    1=1=    ====    0101    1111    1111    1111    =1=1    1010    1111    1111    1111    1111    1111  6. SmarThink 1.98 1024 nodes      57    84    0000    1010    0000    0101    1111     x    0101    1111    0101    1010    1=1=    1010    1=1=    1010    1111    0101    1=1=    1111    1111    1111    1111    1111  7. Altair 7.0.0 1024 nodes       56    84    0000    0000    0101    0000    1010    1010     x    1010    1111    1=1=    =0=0    1111    1010    1111    1010    1111    1111    1111    1111    1111    1111    1111  8. Caissa 1.18 1024 nodes        55    84    0000    0000    0101    1010    1010    0000    0101     x    =1=1    0101    1111    1111    1111    =1=1    1010    1111    =0=0    1111    1111    1111    1111    1111  9. Alexandria-6.1.0 1024 nodes     52    84    0000    0000    =1=1    =0=0    ====    1010    0000    =0=0     x    1010    1111    0101    0101    1111    1=1=    0101    1111    1111    1111    1111    1111    1111 10. Seer 2.8.0 1024 nodes        51    84    0000    0=0=    0000    0=0=    0=0=    0101    0=0=    1010    0101     x    0000    1111    0101    1111    =1=1    1111    1111    1111    1111    1111    1111    1111 11. Berserk 13 1024 nodes        47    84    0000    =1=1    0000    0000    ====    0=0=    =1=1    0000    0000    1111     x    0101    0101    1=1=    =1=1    1010    1111    1010    1111    1111    1111    1111 12. Obsidian 11.0 1024nodes       38    84    0000    0101    0000    0000    1010    0101    0000    0000    1010    0000    1010     x    0101    0000    =1=1    1010    1111    1111    =0=0    1111    1111    1111 13. Rubi20240112 1024nodes        34    84    0000    0000    0000    0101    0000    0=0=    0101    0000    1010    1010    1010    1010     x    1010    0000    0101    ====    =0=0    1111    1010    1111    1111 14. Igel 3.5.0 1024 nodes        33    84    0000    0=0=    0000    0=0=    0000    0101    0000    =0=0    0000    0000    0=0=    1111    0101     x    0000    0101    0=0=    1111    1=1=    1111    1=1=    1111 15. Koivisto 9.0 1024 nodes       33    84    0000    0000    0000    0000    0000    0000    0101    0101    0=0=    =0=0    =0=0    =0=0    1111    1111     x    0000    0000    =1=1    =1=1    1111    1111    =1=1 16. Clover 6.1 1024 nodes        32    84    0000    0000    0000    0000    =0=0    1010    0000    0000    1010    0000    0101    0101    1010    1010    1111     x    1010    0101    1010    1010    =1=1    1111 17. Stockfish 11 1024 nodes       30    84    0000    0000    0000    0000    0101    0=0=    0000    =1=1    0000    0000    0000    0000    ====    1=1=    1111    0101     x    0000    =1=1    1111    1010    1111 18. Black Marlin 9.0 1024 nodes     27    84    0000    0101    0000    0000    0000    0000    0000    0000    0000    0000    0101    0000    =1=1    0000    =0=0    1010    1111     x    1111    1111    0101    1=1= 19. Stash v35.0 1024 nodes        14    84    0000    0=0=    0000    0000    0000    0000    0000    0000    0000    0000    0000    =1=1    0000    0=0=    =0=0    0101    =0=0    0000     x    =0=0    1010    1010 20. Movei00_8_438 1024 nodes       16    84    0000    0000    1010    0000    0000    0000    0000    0000    0000    0000    0000    0000    0101    0000    0000    0101    0000    0000    =1=1     x    1111    =1=1 21. Fridolin 3.10 1024 nodes       10    84    0000    0000    0000    0000    0000    0000    0000    0000    0000    0000    0000    0000    0000    0=0=    0000    =0=0    0101    1010    0101    0000     x    0101 22. Blunder 8.5.5 1024  nodes       7    84    0000    0000    0000    0000    0000    0000    0000    0000    0000    0000    0000    0000    0000    0000    =0=0    0000    0000    0=0=    0101    =0=0    1010     x
Tech (average nodes, depths, time/m per move, others per game), counted for computing moves only, ignored moves with zero nodes:  #  name               nodes/m     NPS  depth/m  time/m   moves   time  1. Stockfish 16.1 1024nodes       1K    102450    9.4    0.0   59.9    0.6  2. Stockfish 15 1024 nodes        1K    102226    6.9    0.0   69.4    0.7  3. Velvet v7.3.0 1024 nodes       2K    166594    4.6    0.0   53.0    0.5  4. PlentyChess 1.0.0 1024 nodes     1K    73934    6.6    0.0   66.9    0.7  5. Viridithas 12.0.0 1024 nodes     1K    98633    6.1    0.0   68.0    0.7  6. SmarThink 1.98 1024 nodes       2K    185726    6.2    0.0   49.4    0.5  7. Altair 7.0.0 1024 nodes        1K    114320    6.2    0.0   62.9    0.7  8. Caissa 1.18 1024 nodes        1K    79552    6.7    0.0   58.4    0.6  9. Alexandria-6.1.0 1024 nodes      1K    74245    6.3    0.0   69.2    0.7 10. Seer 2.8.0 1024 nodes         1K    80387    6.2    0.0   55.9    0.6 11. Berserk 13 1024 nodes         1K    62419    7.6    0.0   72.1    0.8 12. Obsidian 11.0 1024nodes        1K    67330    7.3    0.0   64.9    0.7 13. Rubi20240112 1024nodes        1K    95662    7.3    0.0   54.9    0.6 14. Igel 3.5.0 1024 nodes         1K    69472    6.4    0.0   73.5    0.7 15. Koivisto 9.0 1024 nodes        1K    103849    7.4    0.0   61.0    0.6 16. Clover 6.1 1024 nodes         1K    66601    5.1    0.0   50.7    0.5 17. Stockfish 11 1024 nodes        1K    101964    8.8    0.0   57.5    0.6 18. Black Marlin 9.0 1024 nodes      1K    63281    5.3    0.0   63.2    0.6 19. Stash v35.0 1024 nodes        1K    103106    8.4    0.0   53.9    0.5 20. Movei00_8_438 1024 nodes       1K    83318    2.9    0.0   53.3    0.5 21. Fridolin 3.10 1024 nodes       1K    99346    2.9    0.0   54.4    0.5 22. Blunder 8.5.5 1024  nodes       1K    57275    3.2    0.0   51.7    0.5   all ---                0K    91757    6.3    0.0   60.2    0.6
Ghppn likes this post
Uri Blass
Posts : 207 Join date : 2020-11-28
Subject: Re: rating list of deterministic chess engines Thu Apr 18, 2024 8:30 am
Subject: Re: rating list of deterministic chess engines Thu Apr 18, 2024 9:36 am
rating list so far I have all the games and I would like to have a tool to verify that every game happened even number of times.
Code:
 # PLAYER              :  RATING  POINTS  PLAYED  (%)  1 Stockfish 16.1 1024nodes     :  2057.4  151.0   164   92  2 Stockfish 15 1024 nodes     :  1926.8  140.0   164   85  3 Velvet v7.3.0 1024 nodes     :  1889.4  136.0   164   83  4 PlentyChess 1.0.0 1024 nodes   :  1847.1  131.0   164   80  5 Viridithas 12.0.0 1024 nodes   :  1847.1  131.0   164   80  6 Velvet v7.3.0 512 nodes     :  1839.0  130.0   164   79  7 Alexandria-6.1.0 1024 nodes   :  1786.2  123.0   164   75  8 Altair 7.0.0 1024 nodes     :  1779.1  122.0   164   74  9 SmarThink 1.98 1024 nodes    :  1744.6  117.0   164   71  10 Caissa 1.18 1024 nodes      :  1731.2  115.0   164   70  11 Stockfish 16.1 512 nodes     :  1705.2  111.0   164   68  12 Berserk 13 1024 nodes      :  1692.5  109.0   164   66  13 Altair 7.0.0 512 nodes      :  1686.2  108.0   164   66  14 Seer 2.8.0 1024 nodes      :  1667.5  105.0   164   64  15 Viridithas 12.0.0 512 nodes   :  1643.1  101.0   164   62  16 Stockfish 15 512 nodes      :  1589.4   92.0   164   56  17 Obsidian 11.0 1024nodes     :  1577.7   90.0   164   55  18 Koivisto 9.0 1024 nodes     :  1565.9   88.0   164   54  19 Alexandria-6.1.0 512 nodes    :  1548.3   85.0   164   52  20 Rubi20240112 512nodes      :  1542.5   84.0   164   51  21 SmarThink 1.98 512 nodes     :  1542.5   84.0   164   51  22 Berserk 13 512 nodes       :  1536.6   83.0   164   51  23 Rubi20240112 1024nodes      :  1524.9   81.0   164   49  24 Caissa 1.18 512 nodes      :  1513.2   79.0   164   48  25 Clover 6.1 1024 nodes      :  1483.6   74.0   164   45  26 Igel 3.5.0 1024 nodes      :  1483.6   74.0   164   45  27 Koivisto 9.0 512 nodes      :  1483.6   74.0   164   45  28 Black Marlin 9.0 1024 nodes   :  1459.8   70.0   164   43  29 Stockfish 11 1024 nodes     :  1447.7   68.0   164   41  30 Igel 3.5.0 512 nodes       :  1410.9   62.0   164   38  31 Seer 2.8.0 512 nodes       :  1404.6   61.0   164   37  32 Obsidian 11.0 512 nodes     :  1339.7   51.0   164   31  33 Black Marlin 9.0 512 nodes    :  1319.2   48.0   164   29  34 Movei00_8_438 1024 nodes     :  1283.5   43.0   164   26  35 Stash v35.0 1024 nodes      :  1261.1   40.0   164   24  36 Stockfish 11 512 nodes      :  1253.4   39.0   164   24  37 Fridolin 3.10 1024 nodes     :  1187.6   31.0   164   19  38 Blunder 8.5.5 512 nodes     :  1178.7   30.0   164   18  39 Blunder 8.5.5 1024  nodes    :  1160.4   28.0   164   17  40 Movei00_8_438 512 nodes     :  1141.3   26.0   164   16  41 Fridolin 3.10 512 nodes     :  1014.3   15.0   164   9  42 Stash v35.0 512 nodes      :  1000.0   14.0   164   9
Subject: Re: rating list of deterministic chess engines Thu Apr 18, 2024 4:35 pm
2048 league and rating
Code:
Result: ------------------------------------------------------------------------------------------  #  name              games   wins  draws  losses  score   elo   +   -  1. Stockfish 15 2048 nodes      84    72    6    6    75   400  101  85  2. Stockfish 16.1 2048nodes     84    66    10    8    71   340  89  79  3. Caissa 1.18 2048 nodes      84    52    16    16    60   195  73  69  4. Viridithas 12.0.0 2048 nodes   84    54    4    26    56   166  76  72  5. PlentyChess 1.0.0 2048 nodes   84    50    14    20    57   165  72  69  6. Velvet v7.3.0 2048 nodes     84    48    16    20    56   155  70  68  7. Seer 2.8.0 2048 nodes       84    46    16    22    54   140  70  68  8. Alexandria-6.1.0 2048 nodes    84    46    12    26    52   111  70  69  9. Altair 7.0.0 2048 nodes      84    44    12    28    50   94  69  68 10. Berserk 13 2048 nodes       84    38    12    34    44   45  70  70 11. Koivisto 9.0 2048 nodes      84    42    6    36    45   29  70  70 12. Obsidian 11.0 2048nodes      84    40    6    38    43    9  70  71 13. Rubi20240112 2048nodes      84    36    10    38    41    6  70  71 14. Black Marlin 9.0 2048 nodes    84    32    16    36    40   -15  68  69 15. SmarThink 1.98 2048 nodes     84    36    4    44    38   -42  72  73 16. Igel 3.5.0 2048 nodes       84    30    14    40    37   -51  69  70 17. Clover 6.1 2048 nodes       84    28    8    48    32  -109  71  73 18. Stockfish 11 2048 nodes      84    22    2    60    23  -209  75  81 19. Stash v35.0 2048 nodes      84    14    6    64    17  -296  79  88 20. Blunder 8.5.5 2048  nodes     84    10    8    66    14  -339  81  92 21. Fridolin 3.10 2048 nodes     84    6    8    70    10  -380  87  100 22. Movei00_8_438 2048 nodes     84    6    6    72    9  -413  89  104
Cross table: ------------------------------------------------------------------------------------------  #  name               score  games     1     2     3     4     5     6     7     8     9     10     11     12     13     14     15     16     17     18     19     20     21     22  1. Stockfish 15 2048 nodes       75    84     x    0000    1=1=    1111    1111    1111    ====    1111    1111    1111    1111    1111    1111    1010    1111    1111    1111    1111    1111    1111    1111    1111  2. Stockfish 16.1 2048nodes       71    84    1111     x    1=1=    =1=1    =1=1    =1=1    1111    1111    1111    1111    1111    1111    1111    1111    0101    1010    1010    1111    1111    1010    1=1=    1111  3. Caissa 1.18 2048 nodes        60    84    0=0=    0=0=     x    1111    0000    =1=1    =1=1    1010    1010    ====    1111    1111    0=0=    =1=1    0101    1111    1111    1111    1111    1111    1111    1111  4. Viridithas 12.0.0 2048 nodes     56    84    0000    =0=0    0000     x    0000    0101    0101    1=1=    1111    0101    1111    1111    0101    1111    1111    1111    1010    1010    1111    1111    1111    1111  5. PlentyChess 1.0.0 2048 nodes     57    84    0000    =0=0    1111    1111     x    =1=1    0101    0=0=    ====    ====    0000    0101    0000    1111    1111    1111    1111    1111    1111    1111    1111    1111  6. Velvet v7.3.0 2048 nodes       56    84    0000    =0=0    =0=0    1010    =0=0     x    0=0=    1111    1=1=    0000    1111    1111    1111    =1=1    1=1=    1=1=    1111    0101    1111    1111    1111    1111  7. Seer 2.8.0 2048 nodes        54    84    ====    0000    =0=0    1010    1010    1=1=     x    0000    =0=0    1=1=    0101    1111    =1=1    1010    1111    1111    =1=1    1111    1010    1111    1111    1111  8. Alexandria-6.1.0 2048 nodes     52    84    0000    0000    0101    0=0=    1=1=    0000    1111     x    1=1=    1111    1111    0101    ====    1010    0101    =0=0    1010    1111    1111    1111    1111    1111  9. Altair 7.0.0 2048 nodes       50    84    0000    0000    0101    0000    ====    0=0=    =1=1    0=0=     x    0101    1010    0101    1111    1=1=    1111    1010    0101    1111    1111    1111    1111    1111 10. Berserk 13 2048 nodes        44    84    0000    0000    ====    1010    ====    1111    0=0=    0000    1010     x    1111    0101    =0=0    1010    0101    0101    1010    1111    1111    1111    0101    0101 11. Koivisto 9.0 2048 nodes       45    84    0000    0000    0000    0000    1111    0000    1010    0000    0101    0000     x    1=1=    0101    =0=0    1111    1=1=    1111    1111    1111    1111    1111    1111 12. Obsidian 11.0 2048nodes       43    84    0000    0000    0000    0000    1010    0000    0000    1010    1010    1010    0=0=     x    1111    =1=1    0101    0101    1111    1111    1111    1111    1=1=    1111 13. Rubi20240112 2048nodes        41    84    0000    0000    1=1=    1010    1111    0000    =0=0    ====    0000    =1=1    1010    0000     x    0101    0101    0000    1010    1111    1111    1111    1010    1111 14. Black Marlin 9.0 2048 nodes     40    84    0101    0000    =0=0    0000    0000    =0=0    0101    0101    0=0=    0101    =1=1    =0=0    1010     x    1010    1=1=    1111    1=1=    0000    1111    =1=1    1111 15. SmarThink 1.98 2048 nodes      38    84    0000    1010    1010    0000    0000    0=0=    0000    1010    0000    1010    0000    1010    1010    0101     x    1111    =1=1    0101    1111    0101    1111    1111 16. Igel 3.5.0 2048 nodes        37    84    0000    0101    0000    0000    0000    0=0=    0000    =1=1    0101    1010    0=0=    1010    1111    0=0=    0000     x    =1=1    1111    0101    =1=1    1111    1=1= 17. Clover 6.1 2048 nodes        32    84    0000    0101    0000    0101    0000    0000    =0=0    0101    1010    0101    0000    0000    0101    0000    =0=0    =0=0     x    0101    =1=1    1111    1111    1111 18. Stockfish 11 2048 nodes       23    84    0000    0000    0000    0101    0000    1010    0000    0000    0000    0000    0000    0000    0000    0=0=    1010    0000    1010     x    1111    0101    1111    1111 19. Stash v35.0 2048 nodes        17    84    0000    0000    0000    0000    0000    0000    0101    0000    0000    0000    0000    0000    0000    1111    0000    1010    =0=0    0000     x    0=0=    1111    1=1= 20. Blunder 8.5.5 2048  nodes      14    84    0000    0101    0000    0000    0000    0000    0000    0000    0000    0000    0000    0000    0000    0000    1010    =0=0    0000    1010    1=1=     x    =1=1    0=0= 21. Fridolin 3.10 2048 nodes       10    84    0000    0=0=    0000    0000    0000    0000    0000    0000    0000    1010    0000    0=0=    0101    =0=0    0000    0000    0000    0000    0000    =0=0     x    1010 22. Movei00_8_438 2048 nodes       9    84    0000    0000    0000    0000    0000    0000    0000    0000    0000    1010    0000    0000    0000    0000    0000    0=0=    0000    0000    0=0=    1=1=    0101     x
Tech (average nodes, depths, time/m per move, others per game), counted for computing moves only, ignored moves with zero nodes:  #  name               nodes/m     NPS  depth/m  time/m   moves   time  1. Stockfish 15 2048 nodes        2K    202432    8.9    0.0   53.8    0.5  2. Stockfish 16.1 2048nodes       2K    201019   11.2    0.0   63.2    0.6  3. Caissa 1.18 2048 nodes        2K    153604    8.0    0.0   66.5    0.7  4. Viridithas 12.0.0 2048 nodes     2K    92932    8.0    0.0   61.1    1.3  5. PlentyChess 1.0.0 2048 nodes     2K    150113    8.3    0.0   61.4    0.6  6. Velvet v7.3.0 2048 nodes       3K    248711    5.5    0.0   65.6    0.7  7. Seer 2.8.0 2048 nodes         1K    66350    7.3    0.0   57.2    1.3  8. Alexandria-6.1.0 2048 nodes      2K    61250    8.4    0.0   61.1    1.5  9. Altair 7.0.0 2048 nodes        1K    59815    6.5    0.0   63.5    1.4 10. Berserk 13 2048 nodes         1K    72495    9.3    0.0   62.8    1.1 11. Koivisto 9.0 2048 nodes        2K    97693    8.8    0.0   58.6    1.3 12. Obsidian 11.0 2048nodes        1K    127118    9.2    0.0   58.5    0.6 13. Rubi20240112 2048nodes        2K    97634    9.4    0.0   63.3    1.3 14. Black Marlin 9.0 2048 nodes      1K    125046    6.3    0.0   66.2    0.7 15. SmarThink 1.98 2048 nodes       4K    355598    7.2    0.0   62.0    0.6 16. Igel 3.5.0 2048 nodes         1K    128381    8.0    0.0   62.7    0.7 17. Clover 6.1 2048 nodes         1K    122783    6.2    0.0   49.6    0.5 18. Stockfish 11 2048 nodes        2K    200845   10.6    0.0   68.2    0.7 19. Stash v35.0 2048 nodes        2K    203236   10.4    0.0   49.6    0.5 20. Blunder 8.5.5 2048  nodes       1K    73293    4.0    0.0   49.3    0.8 21. Fridolin 3.10 2048 nodes       2K    96900    4.0    0.0   49.8    1.0 22. Movei00_8_438 2048 nodes       2K    159594    3.5    0.0   55.2    0.6   all ---                1K    123117    7.8    0.0   59.5    0.9