Скорость автобокса зависит от используемой версии JVM, диапазона фактических чисел, с которыми вы работаете, и ваших настроек GC. Смотрите эту действительно интересную углубленную статью о (не) производительности бокса.
По сути, JVM кэширует несколько объектов Integer, поэтому нет необходимости каждый раз создавать «общие». Вы можете настроить этот размер кэша.
Что касается конкретного вопроса: будет ли ваша операция на миллисекунды медленнее, если вы будете использовать примитивы по сравнению с автобоксом? Это полностью зависит от размера списка и от того, как часто он вызывается. Должно быть легко (я думаю!) Проверить производительность примитивной альтернативы.