Действительно, есть некоторая дополнительная работа (хотя и очень минимальная, в зависимости от вашего сервера базы данных) для обеспечения ссылочной целостности. На практике, влияние на производительность почти никогда не бывает таким, как вы заметили.
Это может быть «критическое изменение» - ваш клиентский код может вставлять данные, которые не соответствуют ссылочным ограничениям. Если БД позволила вам создать ограничения в первую очередь, это маловероятно, но это возможно.