Да. Естественно, с помощью dqn можно удалить старые эпизоды из буфера. Однако агент может не тренироваться, если в этих предыдущих эпизодах произошли важные события, которые привели к награде. Каков размер вашего наблюдательного пространства, это изображение или что-то в этом роде? Вы должны уметь рассчитать размер общего буфера в гигабайтах. Если он подходит для вашего плунжера, я бы посоветовал увеличить размер буфера. Если вы увеличите его больше, чем емкость оперативной памяти, программа выдаст ошибку sh. Я также рекомендую использовать для вашего буфера коллекцию python deque. Он действует как массив максимального размера. Поэтому, когда вы добавляете к нему, когда он достигает своего предела, он автоматически удаляет первые элементы, поэтому буфер всегда имеет один и тот же размер.