Да, полиморфизм может быть медленнее, чем если бы / иначе.Это будет зависеть от внутренней части вашей платформы (Java).
Но скорость не является причиной использования полиморфизма.Полиморфизм используется для того, чтобы сделать ваше решение более легким для чтения и понимания - более легким в обслуживании.
Если важна скорость, приемлемо пожертвовать этой ремонтопригодностью и не использовать полиморфизм.
РЕДАКТИРОВАТЬ:
Как указано в ряде комментариев и других ответов - не принимайте решение вслепую.Сначала измерьте влияние на производительность.