Benchmarks are being updated continuously.
Implementation and hyper-parameters of JORLDY can be different from official implementation
| DQN | Double | Dueling | PER | NoisyNet | C51 | multistep | Rainbow | QR-DQN | M-DQN | PPO | IQN | Ape-X | MPO | VMPO | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| alien | 1828 | ||||||||||||||
| (3069) | 625.8 | ||||||||||||||
| (2907.3) | 1791 | ||||||||||||||
| (4461.4) | 1505 | ||||||||||||||
| (3166) | 2192 | ||||||||||||||
| (5778) | 1445.3 | ||||||||||||||
| (3166) | 1510 | ||||||||||||||
| (-) | 1997.3 | ||||||||||||||
| (9491.7) | 1930 | ||||||||||||||
| (4781) | 2026 | ||||||||||||||
| (3795) | 5779 | ||||||||||||||
| (1850.3) | 1970 | ||||||||||||||
| (7,022) | 8437 | ||||||||||||||
| (40804.9) | |||||||||||||||
| assault | 1841 | ||||||||||||||
| (3359) | 1421.3 | ||||||||||||||
| (5022.9) | 1799 | ||||||||||||||
| (4621.0) | 6241.3 | ||||||||||||||
| (7203) | 4399 | ||||||||||||||
| (11231) | 2064 | ||||||||||||||
| (7203) | 2496 | ||||||||||||||
| (-) | 4898 | ||||||||||||||
| (14198.5) | 9088 | ||||||||||||||
| (22012) | 1266.7 | ||||||||||||||
| (2165) | 13967 | ||||||||||||||
| (4971.9) | 4647 | ||||||||||||||
| (29,091) | 35022 | ||||||||||||||
| (24559.4) | |||||||||||||||
| battle zone | 10297 | ||||||||||||||
| (26300) | 17983.3 | ||||||||||||||
| (25730.0) | 6139 | ||||||||||||||
| (37150) | 26723.7 | ||||||||||||||
| (28742) | 25858 | ||||||||||||||
| (55262) | 9540.3 | ||||||||||||||
| (28742) | 21183 | ||||||||||||||
| (-) | 34364.3 | ||||||||||||||
| (62010) | 34416 | ||||||||||||||
| (39268) | 31044.3 | ||||||||||||||
| (36509) | 55152 | ||||||||||||||
| (17366.7) | 22317.3 | ||||||||||||||
| (42,244) | 59721 | ||||||||||||||
| (98895) | |||||||||||||||
| breakout | 295 | ||||||||||||||
| (385.5) | 300.9 | ||||||||||||||
| (375.0) | 322.2 | ||||||||||||||
| (345.3) | 359.3 | ||||||||||||||
| (371.6) | 364.4 | ||||||||||||||
| (516.0) | 238.4 | ||||||||||||||
| (748) | 57.7 | ||||||||||||||
| (-) | 342.2 | ||||||||||||||
| (417.5) | 338.9 | ||||||||||||||
| (742) | 348.6 | ||||||||||||||
| (331) | 388 | ||||||||||||||
| (274.8) | 416.8 | ||||||||||||||
| (734) | 452.9 | ||||||||||||||
| (800.9) | |||||||||||||||
| enduro | 1060 | ||||||||||||||
| (729.0) | 1007 | ||||||||||||||
| (319.5) | 1001 | ||||||||||||||
| (2258.2) | 1629 | ||||||||||||||
| (1884.4) | 1430 | ||||||||||||||
| (1240.0) | 1054 | ||||||||||||||
| (3454) | 464.5 | ||||||||||||||
| (-) | 3303 | ||||||||||||||
| (2125.9) | 2713 | ||||||||||||||
| (2355) | 1011 | ||||||||||||||
| (1643) | 3621 | ||||||||||||||
| (758.3) | 2603 | ||||||||||||||
| (2359) | 13340 | ||||||||||||||
| (2177.4) | |||||||||||||||
| ms pacman | 2940 | ||||||||||||||
| (2311) | 2024.3 | ||||||||||||||
| (3210.0) | 2129 | ||||||||||||||
| (6283.5) | 2205 | ||||||||||||||
| (3415) | 2538 | ||||||||||||||
| (5546) | 2408 | ||||||||||||||
| (3415) | 1964 | ||||||||||||||
| (-) | 2254.7 | ||||||||||||||
| (5380.4) | 2639 | ||||||||||||||
| (5821) | 2421 | ||||||||||||||
| (4544) | 7022 | ||||||||||||||
| (2096.5) | 2338.7 | ||||||||||||||
| (6,349) | 6611 | ||||||||||||||
| (11255.2) | |||||||||||||||
| pong | 21 | ||||||||||||||
| (19.5) | 21 | ||||||||||||||
| (21.0) | 21 | ||||||||||||||
| (21.0) | 21 | ||||||||||||||
| (18.9) | 21 | ||||||||||||||
| (21.0) | 21 | ||||||||||||||
| (20.9) | 21 | ||||||||||||||
| (-) | 21 | ||||||||||||||
| (20.9) | 21 | ||||||||||||||
| (21) | 21 | ||||||||||||||
| (19) | 21 | ||||||||||||||
| (20.7) | 21 | ||||||||||||||
| (21.0) | 21 | ||||||||||||||
| (20.9) | |||||||||||||||
| qbert | 13053 | ||||||||||||||
| (13117.3) | 17220 | ||||||||||||||
| (14875.0) | 15249 | ||||||||||||||
| (19220.3) | 11861 | ||||||||||||||
| (11277.0) | 16246 | ||||||||||||||
| (15545.0) | 15006 | ||||||||||||||
| (23784) | 14672 | ||||||||||||||
| (-) | 27760 | ||||||||||||||
| (33817.5) | 17560 | ||||||||||||||
| (572510) | 14867 | ||||||||||||||
| (16415) | 31684 | ||||||||||||||
| (14293.3) | 14102.3 | ||||||||||||||
| (25750) | 26768 | ||||||||||||||
| (302391.3) | |||||||||||||||
| robotank | 7.385 | ||||||||||||||
| (51.6) | 14.91 | ||||||||||||||
| (46.7) | 21.86 | ||||||||||||||
| (65.3) | 24.61 | ||||||||||||||
| (52.3) | 31.63 | ||||||||||||||
| (64) | 27.36 | ||||||||||||||
| (52.3) | 25.72 | ||||||||||||||
| (-) | 37.4 | ||||||||||||||
| (61.4) | 31.87 | ||||||||||||||
| (59.4) | 24.03 | ||||||||||||||
| (66) | 33.41 | ||||||||||||||
| (5.5) | 18.8 | ||||||||||||||
| (62.5) | 63.09 | ||||||||||||||
| (73.8) | |||||||||||||||
| seaquest | 159 | ||||||||||||||
| (5860.6) | 124.3 | ||||||||||||||
| (7995.0) | 134 | ||||||||||||||
| (37361.6) | 6000 | ||||||||||||||
| (39096.7) | 120.1 | ||||||||||||||
| (2282.0) | 3960 | ||||||||||||||
| (266434) | 3622 | ||||||||||||||
| (-) | 13377 | ||||||||||||||
| (15898.9) | 20710 | ||||||||||||||
| (8268) | 1974 | ||||||||||||||
| (2666) | 2667 | ||||||||||||||
| (1204.5) | 25098.3 | ||||||||||||||
| (30140) | 62357 | ||||||||||||||
| (392952.3) | |||||||||||||||
| spaceinvaders | 649 | ||||||||||||||
| (1692.3) | 702.1 | ||||||||||||||
| (3154.6) | 1302 | ||||||||||||||
| (5993.1) | 994.9 | ||||||||||||||
| (9063.0) | 871.5 | ||||||||||||||
| (2186.0) | 1265 | ||||||||||||||
| (5747) | 481.4 | ||||||||||||||
| (-) | 1346 | ||||||||||||||
| (18789.0) | 1160 | ||||||||||||||
| (20972) | 901.4 | ||||||||||||||
| (7504) | 2862 | ||||||||||||||
| (942.5) | 1293.7 | ||||||||||||||
| (28888) | 102980 | ||||||||||||||
| (54681.0) | |||||||||||||||
| time pilot | 2981 | ||||||||||||||
| (5947) | 1729.3 | ||||||||||||||
| (7964.0) | 3269 | ||||||||||||||
| (11666) | 4649 | ||||||||||||||
| (8329) | 3947 | ||||||||||||||
| (17301) | 3904.3 | ||||||||||||||
| (8329) | 4148 | ||||||||||||||
| (-) | 9125 | ||||||||||||||
| (12926) | 4545 | ||||||||||||||
| (10345) | 3620.7 | ||||||||||||||
| (10590) | 16615 | ||||||||||||||
| (4342) | 5424.3 | ||||||||||||||
| (12,236) | 13776 | ||||||||||||||
| (87085) |
| DDPG | TD3 | SAC | PPO | |
|---|---|---|---|---|
| Ant | 673 | |||
| (-) | 5945 | |||
| (4372.4) | 4736 | |||
| (6653.7) | 4888 | |||
| (-) | ||||
| HalfCheetah | 4335 | |||
| (-) | 9305 | |||
| ****(9637.0) | 8385 | |||
| (14994.5) | 5748 | |||
| (-) | ||||
| Hopper | 1938 | |||
| (-) | 3622 | |||
| ****(3564.1) | 3627 | |||
| (2747.9) | 3722 | |||
| (-) | ||||
| Inverted Double Pendulum | 9325 | |||
| (-) | 9359 | |||
| (9337.5) | 9328 | |||
| (-) | 9318 | |||
| (-) | ||||
| Reacher | -5.821 | |||
| (-) | -6.021 | |||
| (-3.60) | -8.274 | |||
| (-) | -7.349 | |||
| (-) | ||||
| Walker | 3957 | |||
| (-) | 5129 | |||
| ****(4682.8) | 3987 | |||
| (6084.1) | 5419 | |||
| (-) |