У нас есть веб-скрипт, который очень важен:
fork process upto 5 for list of websites:
every process retrieves website data
(В коде мы использовали функцию os.spawnlp для разветвления 5 процессов и использовали запросов библиотека python для очистки)
Обычно обработка одного процесса для одного веб-сайта занимает менее минуты. но когда он обрабатывается несколькими способами, как описано выше, иногда для получения данных требуется слишком много времени (более 473 минут). ниже прикреплен скриншот вывода верхней команды для этой проблемы.
Кто-нибудь знает, почему он может зависать время от времени? А как отладить и решить эту проблему.