Нет. По крайней мере, реализация OpenJDK буквально «заменяет» методы модификации на UnsupportedOperationException
s, остальные добавляют один уровень косвенности, который должен быть просто оптимизирован компилятором VM ( и даже в этом случае один уровень косвенности не будет дорогостоящим).
Если вы хотите вернуть список, который не может быть изменен, любое влияние на производительность уменьшится по сравнению с потерей в корректности, я бы не стал избегать его из-за одной только производительности и, конечно же, не избежал бы его, если это то, что вы необходимо.