Вчера я сделал php sitemap для своего сайта на основе следующих примеров: https://www.youtube.com/watch?v=M4j_m4DyiPg
Он использует соединение mysqli с БД.У меня есть около 40000 URL-адресов в этой карте сайта.Прошлой ночью я не заметил ничего плохого, но сегодня сайт был закрыт 3 раза.Я на выделенном сервере, много места и ресурсов, но мне интересно, связано ли это с тем, что новый файл сайта связан с неработающим сервером.Я связался с моим хостинг-провайдером, они сказали, что у них нет простоев или проблем.Мой сайт выдает ошибку 500, когда он не работает.У меня два вопроса:
Чрезмерно сканируются ли карты сайта спам-ботами, которые, в свою очередь, могут перегружать сервер?
Может ли иметь 40K + URL-адреса, извлеченные из БД, считаться плохой практикой, когда дело касается карт сайта?
Хотелось бы услышать ваш ценный вклад.