50 тыс. Текстов статей с BeautifulSoup.Сколько времени слом слишком много?Нет индикатора выполнения. - PullRequest
0 голосов
/ 29 мая 2018

Мой код действителен и проверен - я скачал 25 тыс. Статей впервые за ночь (так что понятия не имею, сколько времени это заняло), но я был воодушевлен тем, что смогу достичь 50 тыс. За ночь.Это не сработало.

Мой ноутбук перешел в спящий режим в течение ночи (кроме настройки «нет»), но после его включения ноутбук Jupyter все еще работал - я вижу часы с песком во вкладке, круг Kernel Busy извезда в слом ячейке.Таким образом, он бегал с полуночи до некоторого времени ночью, и в течение приблизительно 9 часов, с тех пор как я проснулся.Мой диспетчер задач показывает до 30% процессорного времени, используемого в некоторых точках, но обычно между 0 и 10%, и скорость сетевого подключения, кажется, меняется, как будто с размером статьи - хотя редко превышает Мб.

Сколько времени слишком много, прежде чем я должен быть уверен, что он не работает?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...