Я использую облачное хранилище с экземпляром spla sh для очистки содержимого и изображений из большого списка URL-адресов, предоставляемых пауком. Есть около 50 000 URL-адресов, которые я должен сканировать sh.
Когда я в первый раз запустил его, паук пробыл чуть менее 13 часов, а затем закрылся после того, как только перебрал 11 тысяч URL. В следующий раз, когда я его запустил, прошло всего 2 часа и скинул 2к URL.
Единственное сообщение, которое я получил, было следующее:
(TCP-порт 6023 закрыт) * 1007 *
Пожалуйста, сообщите мне любые возможные решения или дополнительную информацию, которую я могу предоставить