У меня очень простой веб-сканер. Таблица базы данных, в которой хранятся найденные ссылки, имеет уникальный индекс в поле URL.
Логика, которая у меня есть, заключается в том, что для каждой ссылки, найденной на странице, приложение будет запрашивать таблицы ссылок, чтобы узнать, существует ли эта ссылка уже. Если он еще не существует, он вставит его.
Пытаясь получить максимальную производительность для скрипта, можно ли было бы просто пропустить начальный запрос, который проверяет, существует ли ссылка, поскольку, если ссылка пытается вставить ее, она все равно потерпит неудачу?
Из-за этого будет больше попыток вставки, но это устранит необходимость в запросе полного выбора для каждой найденной ссылки.