Это удар по производительности.
Я бы не стал беспокоиться о "падении производительности".Создание объектов в Java очень быстро.Разница в производительности вряд ли будет измеряться вами.
Во что бы то ни стало, используйте размер, если вы его знаете.Если вы этого не сделаете, с этим ничего не поделаешь.
То, что вы здесь делаете, называется «преждевременной оптимизацией».Дональд Кнут говорит, что это корень всего зла.
Лучший подход - заставить ваш код работать, прежде чем вы сделаете его быстрым.Оптимизируйте, используя данные, которые сообщают вам, где ваш код медленный.Не угадайте - вы, вероятно, ошибаетесь.Вы обнаружите, что редко знаете, где находятся узкие места.