Обратите внимание, что QPixmap зависит от оконной системы. Это означает, что QPixmap скорее всего соответствует памяти графической карты больше, чем общая оперативная память. Как и любой другой кеш, его размер должен «столько, сколько нужно, но не больше».
Лучший способ настроить кэш - это профилировать ваше приложение, работающее на типичном компьютере (целевых пользователей). Посмотрите, не начинает ли кэш выводить старые пиксельные карты и получать его ошибки.