Мне нужно проанализировать свой сетевой трафик c в указанные c часы. Я нашел инструмент vnstat для linux ubuntu, но vnstat позволяет мне видеть только ежедневную / ежечасную статистику. Я знаю, что наибольший трафик c у меня в 0-4 утра, но я хочу что-то точно проверить, например поминутно в эти часы, насколько загружена моя сеть и почему.
Общая проблема состоит в том, что у меня есть парсеры, которые загружают много данных с веб-сайтов, и в некоторые дни все работает нормально, но что-то я получаю несколько ошибок, например:
HTTPSConnectionPool (host = 'www.some-website-with-jobs.com', port = 443): Превышено максимальное количество повторных попыток с url: / items? Page = 6 (вызвано SSLError (SSLError ("bad handshake: SysCallError (104, 'ECONNRESET')")))
или
HTTPSConnectionPool ( host = 'korian-karriere.de', port = 443): превышено максимальное количество повторных попыток с url: / jobs / page / 1 (вызвано NewConnectionError (' : Не удалось установить sh новое соединение: [Errno -3] Временный сбой в разрешении имен '))
Мои вопросы:
- Как анализировать и диагностировать эти проблемы?
- Откуда это? Иногда это нормально, а иногда нет?
PS: В некоторых сценариях я использую прокси, но у меня есть другой сценарий, который проверяет прокси каждые 2 минуты, и когда появляются эти ошибки, прокси-тестер работает нормально ( все прокси хорошие).