Нет, удаление цветов не улучшит производительность вашей страницы. Количество цветов, которое вы использовали в вашем CSS, вполне нормально. Использование цветов на веб-сайте очень важно, поэтому если сравнивать потребность в цветах и разницу в производительности (если есть), после их удаления / уменьшения не стоит.
Если вы хотите узнать больше о выполнении цветов CSS отметьте это