Ответ на этот вопрос действительно «зависит», и вам потребуется проверить его в своей среде для подтверждения, но в целом я бы сказал, что использование инструмента ORM добавляет дополнительный уровень абстракции, который, вероятно, будет стоить вам некоторые накладные расходы. Я полагаю, если вы действительно плохо пишете на SQL, ORM может быть лучше, но в этом случае я бы просто поработал над улучшением ваших навыков SQL.
Редактировать: я просто хотел бы добавить, что я бы не стал выбирать между ORM или без ORM на основе производительности. Я бы сделал свой выбор на основе других факторов и оптимизировал бы мой дизайн в этом контексте.