Есть два недостатка использования объектов вместо записей. Во-первых, каждый объект на 4 байта больше, чем запись, содержащая те же данные. (Или 8 байтов, начиная с D2009.)
Во-вторых, объект должен быть создан и уничтожен; это не "просто там", как запись. Но, судя по другому вопросу, похоже, что ваши записи в любом случае должны быть переданы через указатели, так что это не большая разница. Вам все равно придется динамически распределять свои записи и освобождать их позже.
Но если вы используете объект, вы получаете большую дополнительную гибкость, особенно возможность использовать наследование и полиморфизм. Это определенно стоит дополнительных 4 байта.