Я не думаю, что вы должны отключить его без уважительной причины. Манифест предоставляет некоторую полезную мета-информацию о сборке, и я считаю, что он также может содержать зависимости.
Существует также риск поддержки. Допустим, в следующем году вы решили добавить некоторые новые функции, которые требуют, чтобы манифест работал правильно. Все предполагает, что манифест на месте, поэтому он нарушит его странными способами, которые никто не сможет объяснить, по крайней мере, пока вы не вспомните, что было сделано раньше.
Накладные расходы в манифесте достаточно низки, так что их оставление там почти ничего не стоит. Оставьте это на месте.