Я посмотрел исходный код RollingFileAppender, и кажется, что CountDirection = 1 может быть, что вы хотите.
Если это не работает, я думаю, вам нужно написать свой собственный appender, наследующий от RollingFileAppender, который реализует свой собственный RollOverRenameFiles.