С точки зрения нагрузки, которую запрос вызывает на сервере, разницы нет.
С точки зрения пропускной способности сети, действительный ответ 304 будет немного больше, так как вы также должны включить в ответ по крайней мере заголовки Date и Expires или ETag.
Если идея состоит в том, чтобы отправить ответ без контента, то я думаю, что 204 Нет контента более уместно.
Если вы абсолютно уверены, что на сайте никогда не будет значка, вы можете использовать ответ 410 Gone . Это говорит клиенту / браузеру не возвращаться и спрашивать снова. Это также более вероятно, будет кэшироваться прокси-сервером, чем 404.