Мой совет - не беспокоиться об этом, пока вам не нужно - не оптимизируйте преждевременно. ORM может обеспечить много преимуществ для скорости разработки, читабельности кода и может удалить много повторений кода. Я бы порекомендовал использовать один, если это облегчит разработку вашего приложения.
По мере продвижения по разработке используйте тесты и профилирование, чтобы определить узкие места в коде, и при необходимости вы можете обойти ORM и использовать ручные запросы там, где они требуются. Обычно вы сможете повысить скорость ORM, используя кеширование и индексы базы данных (среди прочего), а затем вы можете решить, где требуются ручные запросы. По большей части производительность ORM, вероятно, будет приемлемой, а преимущества от ее использования значительно перевесят стоимость производительности.