Прежде чем вы даже подумаете об этом, вам нужно подумать о целостности данных. Внешние ключи существуют, поэтому вы не можете помещать записи в таблицы, если первичные данные, на которых они основаны, отсутствуют. Если вы не используете внешние ключи, вы рано или поздно (вероятно, рано) получите бесполезные данные, потому что вы не знаете, к какому клиенту относится, например, заказ. Внешние ключи являются защитой данных, вы никогда не должны думать, что не используете их.
И даже если вы думаете, что все ваши данные будут поступать из вашего приложения, в реальной жизни это просто неправда. Данные поступают из нескольких приложений, из-за импорта больших объемов данных, из окна запроса (подумайте, когда кто-то решит обновить все цены, которые он не собирается делать по одной цене за раз из пользовательского интерфейса). Данные могут попасть в базу данных из многих источников и должны быть защищены на уровне базы данных. Делать меньше - значит подвергать риску всю вашу заявку и данные.