Benchmarks are being updated continuously.
Implementation and hyper-parameters of JORLDY can be different from official implementation
DQN | Double | Dueling | PER | NoisyNet | C51 | multistep | Rainbow | QR-DQN | M-DQN | PPO | IQN | Ape-X | MPO | VMPO | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
alien | 1828 | ||||||||||||||
(3069) | 625.8 | ||||||||||||||
(2907.3) | 1791 | ||||||||||||||
(4461.4) | 1505 | ||||||||||||||
(3166) | 2192 | ||||||||||||||
(5778) | 1445.3 | ||||||||||||||
(3166) | 1510 | ||||||||||||||
(-) | 1997.3 | ||||||||||||||
(9491.7) | 1930 | ||||||||||||||
(4781) | 2026 | ||||||||||||||
(3795) | 5779 | ||||||||||||||
(1850.3) | 1970 | ||||||||||||||
(7,022) | 8437 | ||||||||||||||
(40804.9) | |||||||||||||||
assault | 1841 | ||||||||||||||
(3359) | 1421.3 | ||||||||||||||
(5022.9) | 1799 | ||||||||||||||
(4621.0) | 6241.3 | ||||||||||||||
(7203) | 4399 | ||||||||||||||
(11231) | 2064 | ||||||||||||||
(7203) | 2496 | ||||||||||||||
(-) | 4898 | ||||||||||||||
(14198.5) | 9088 | ||||||||||||||
(22012) | 1266.7 | ||||||||||||||
(2165) | 13967 | ||||||||||||||
(4971.9) | 4647 | ||||||||||||||
(29,091) | 35022 | ||||||||||||||
(24559.4) | |||||||||||||||
battle zone | 10297 | ||||||||||||||
(26300) | 17983.3 | ||||||||||||||
(25730.0) | 6139 | ||||||||||||||
(37150) | 26723.7 | ||||||||||||||
(28742) | 25858 | ||||||||||||||
(55262) | 9540.3 | ||||||||||||||
(28742) | 21183 | ||||||||||||||
(-) | 34364.3 | ||||||||||||||
(62010) | 34416 | ||||||||||||||
(39268) | 31044.3 | ||||||||||||||
(36509) | 55152 | ||||||||||||||
(17366.7) | 22317.3 | ||||||||||||||
(42,244) | 59721 | ||||||||||||||
(98895) | |||||||||||||||
breakout | 295 | ||||||||||||||
(385.5) | 300.9 | ||||||||||||||
(375.0) | 322.2 | ||||||||||||||
(345.3) | 359.3 | ||||||||||||||
(371.6) | 364.4 | ||||||||||||||
(516.0) | 238.4 | ||||||||||||||
(748) | 57.7 | ||||||||||||||
(-) | 342.2 | ||||||||||||||
(417.5) | 338.9 | ||||||||||||||
(742) | 348.6 | ||||||||||||||
(331) | 388 | ||||||||||||||
(274.8) | 416.8 | ||||||||||||||
(734) | 452.9 | ||||||||||||||
(800.9) | |||||||||||||||
enduro | 1060 | ||||||||||||||
(729.0) | 1007 | ||||||||||||||
(319.5) | 1001 | ||||||||||||||
(2258.2) | 1629 | ||||||||||||||
(1884.4) | 1430 | ||||||||||||||
(1240.0) | 1054 | ||||||||||||||
(3454) | 464.5 | ||||||||||||||
(-) | 3303 | ||||||||||||||
(2125.9) | 2713 | ||||||||||||||
(2355) | 1011 | ||||||||||||||
(1643) | 3621 | ||||||||||||||
(758.3) | 2603 | ||||||||||||||
(2359) | 13340 | ||||||||||||||
(2177.4) | |||||||||||||||
ms pacman | 2940 | ||||||||||||||
(2311) | 2024.3 | ||||||||||||||
(3210.0) | 2129 | ||||||||||||||
(6283.5) | 2205 | ||||||||||||||
(3415) | 2538 | ||||||||||||||
(5546) | 2408 | ||||||||||||||
(3415) | 1964 | ||||||||||||||
(-) | 2254.7 | ||||||||||||||
(5380.4) | 2639 | ||||||||||||||
(5821) | 2421 | ||||||||||||||
(4544) | 7022 | ||||||||||||||
(2096.5) | 2338.7 | ||||||||||||||
(6,349) | 6611 | ||||||||||||||
(11255.2) | |||||||||||||||
pong | 21 | ||||||||||||||
(19.5) | 21 | ||||||||||||||
(21.0) | 21 | ||||||||||||||
(21.0) | 21 | ||||||||||||||
(18.9) | 21 | ||||||||||||||
(21.0) | 21 | ||||||||||||||
(20.9) | 21 | ||||||||||||||
(-) | 21 | ||||||||||||||
(20.9) | 21 | ||||||||||||||
(21) | 21 | ||||||||||||||
(19) | 21 | ||||||||||||||
(20.7) | 21 | ||||||||||||||
(21.0) | 21 | ||||||||||||||
(20.9) | |||||||||||||||
qbert | 13053 | ||||||||||||||
(13117.3) | 17220 | ||||||||||||||
(14875.0) | 15249 | ||||||||||||||
(19220.3) | 11861 | ||||||||||||||
(11277.0) | 16246 | ||||||||||||||
(15545.0) | 15006 | ||||||||||||||
(23784) | 14672 | ||||||||||||||
(-) | 27760 | ||||||||||||||
(33817.5) | 17560 | ||||||||||||||
(572510) | 14867 | ||||||||||||||
(16415) | 31684 | ||||||||||||||
(14293.3) | 14102.3 | ||||||||||||||
(25750) | 26768 | ||||||||||||||
(302391.3) | |||||||||||||||
robotank | 7.385 | ||||||||||||||
(51.6) | 14.91 | ||||||||||||||
(46.7) | 21.86 | ||||||||||||||
(65.3) | 24.61 | ||||||||||||||
(52.3) | 31.63 | ||||||||||||||
(64) | 27.36 | ||||||||||||||
(52.3) | 25.72 | ||||||||||||||
(-) | 37.4 | ||||||||||||||
(61.4) | 31.87 | ||||||||||||||
(59.4) | 24.03 | ||||||||||||||
(66) | 33.41 | ||||||||||||||
(5.5) | 18.8 | ||||||||||||||
(62.5) | 63.09 | ||||||||||||||
(73.8) | |||||||||||||||
seaquest | 159 | ||||||||||||||
(5860.6) | 124.3 | ||||||||||||||
(7995.0) | 134 | ||||||||||||||
(37361.6) | 6000 | ||||||||||||||
(39096.7) | 120.1 | ||||||||||||||
(2282.0) | 3960 | ||||||||||||||
(266434) | 3622 | ||||||||||||||
(-) | 13377 | ||||||||||||||
(15898.9) | 20710 | ||||||||||||||
(8268) | 1974 | ||||||||||||||
(2666) | 2667 | ||||||||||||||
(1204.5) | 25098.3 | ||||||||||||||
(30140) | 62357 | ||||||||||||||
(392952.3) | |||||||||||||||
spaceinvaders | 649 | ||||||||||||||
(1692.3) | 702.1 | ||||||||||||||
(3154.6) | 1302 | ||||||||||||||
(5993.1) | 994.9 | ||||||||||||||
(9063.0) | 871.5 | ||||||||||||||
(2186.0) | 1265 | ||||||||||||||
(5747) | 481.4 | ||||||||||||||
(-) | 1346 | ||||||||||||||
(18789.0) | 1160 | ||||||||||||||
(20972) | 901.4 | ||||||||||||||
(7504) | 2862 | ||||||||||||||
(942.5) | 1293.7 | ||||||||||||||
(28888) | 102980 | ||||||||||||||
(54681.0) | |||||||||||||||
time pilot | 2981 | ||||||||||||||
(5947) | 1729.3 | ||||||||||||||
(7964.0) | 3269 | ||||||||||||||
(11666) | 4649 | ||||||||||||||
(8329) | 3947 | ||||||||||||||
(17301) | 3904.3 | ||||||||||||||
(8329) | 4148 | ||||||||||||||
(-) | 9125 | ||||||||||||||
(12926) | 4545 | ||||||||||||||
(10345) | 3620.7 | ||||||||||||||
(10590) | 16615 | ||||||||||||||
(4342) | 5424.3 | ||||||||||||||
(12,236) | 13776 | ||||||||||||||
(87085) |
DDPG | TD3 | SAC | PPO | |
---|---|---|---|---|
Ant | 673 | |||
(-) | 5945 | |||
(4372.4) | 4736 | |||
(6653.7) | 4888 | |||
(-) | ||||
HalfCheetah | 4335 | |||
(-) | 9305 | |||
(9637.0) | 8385 | |||
(14994.5) | 5748 | |||
(-) | ||||
Hopper | 1938 | |||
(-) | 3622 | |||
(3564.1) | 3627 | |||
(2747.9) | 3722 | |||
(-) | ||||
Inverted Double Pendulum | 9325 | |||
(-) | 9359 | |||
(9337.5) | 9328 | |||
(-) | 9318 | |||
(-) | ||||
Reacher | -5.821 | |||
(-) | -6.021 | |||
(-3.60) | -8.274 | |||
(-) | -7.349 | |||
(-) | ||||
Walker | 3957 | |||
(-) | 5129 | |||
(4682.8) | 3987 | |||
(6084.1) | 5419 | |||
(-) |