Это зависит от вашего шаблона использования. Если вы собираетесь добавлять и удалять много элементов, то эти пустые коллекции будут использовать память. Я предполагаю, что вы не сэкономите столько времени, храня коллекции. Как всегда, если это так важно для вашей работы, вы должны измерить, а не угадывать, какой путь лучше.
Если вы действительно считаете, что создание этих коллекций стоит дорого, вместо того, чтобы создавать новые постоянно, поместите неиспользуемые в список и используйте их повторно, когда новые ключи добавляются в вашу хэш-карту. Я думаю, что это может быть модель в наименьшем весе. Вероятно, вы должны сохранить список неиспользованных коллекций меньше, чем половина основного хэш-карты (опять же, измерить, чтобы увидеть, как соотношение влияет на производительность).