Просто обратите внимание, что эти решения не будут работать на сайте, который не дает соответствующего ответа для не найденной страницы. например, у меня только что была проблема с тестированием страницы на сайте, поскольку она просто загружает главную страницу сайта, когда получает запрос, который не может обработать. Таким образом, сайт почти всегда дает ответ 200 даже для несуществующих страниц.
Некоторые сайты выдают пользовательскую ошибку на стандартной странице и все равно не выдают заголовок 404.
В этих ситуациях вы мало что можете сделать, если не знаете ожидаемое содержимое страницы и не начинаете тестировать, существует ли ожидаемое содержимое, или проверяете какой-либо ожидаемый текст ошибки на странице, и все становится немного грязно ... 1005 *