Это действительно зависит от того, что вы будете делать с этими объектами; наличие большого количества из них само по себе не является причиной для использования ORM.
Возможно, более важно обрабатывать записи объектно-ориентированным образом, чтобы над ними можно было надежно выполнять бизнес-логику. Или, наоборот, если производительность является более серьезной проблемой, то предпочтительнее держать ее на более низком уровне. ORM - это просто инструмент со своими плюсами и минусами; вам нужно решить, перевесят ли преимущества использования этого инструмента недостатки.