Если я не неправильно понимаю ваш вопрос, то, что вы просите, невозможно, не имеет смысла или далеко не тривиально.
Если вы думаете об этом, кроме ошибки 404, где выобнаружить, что страница не существует, если страница существует, нет способа узнать, является ли страница «хорошей» или «плохой», поскольку это субъективно.Может быть возможно применить некоторые общие правила, но вы не можете охватить все возможности.
Единственным способом было бы что-то вроде того, что Google делает с предложениями, но это подразумевало бы огромную базу данных ссписок популярности веб-сайтов, и тестируйте каждый раз на предмет близости, но это далеко за тривиальным и, вероятно, не нужно.
Для обработки 404 статутов в Python вы можете использовать lie httplib .
Удачи!