Я пользуюсь цепью со скрапом + privoxy + tor.Когда я запускаю много пауков (20+) одновременно, мой тор умирает.Мои пауки состоят из длительной работы и быстрой работы 50/50.В журнале пауков я получаю «503 Сервис недоступен».
Мой журнал Tor говорит:
circuit_predict_and_launch_new (): иметь 0 чистых кругов (0 внутренних), нужен еще один выход из круга
или
Попытка в течение 120 секунд установить соединение с [scrubbed]: 80.Сдаваться.(в ожидании рандеву)
или
Цепи не открыты.Уменьшенное время ожидания для схемы 56 (3-х разовая схема клиента общего назначения в состоянии, выполняющем рукопожатия с открытым состоянием канала) до 60000 мс.Тем не менее, похоже, что время цепи истекло.и многие другие ошибки.
11 июля. 11: 07: 22.000 [debug] conn_read_callback (): сокет 13 хочет прочитать.11 июля. 11: 07: 22.000 [debug] connection_buf_read_from_socket (): 13: запуск, inbuf_datalen 0 (0 ожидающих в объекте tls).at_most 16448. 11 июля. 11: 07: 22.000 [отладка] connection_buf_read_from_socket (): после чтения TLS 514: 543 чтения, 0 записано 11 июля: 11: 22.000 [debug] connection_or_process_cells_from_inbuf (): 13: запуск, inbuf_datalen 514 (0в ожидании в объекте tls).11 июля 11: 07: 22,000 [отладка] channel_process_cell (): Обработка входящего cell_t 0x7ffc27c39d50 для канала 0x559406d49690 (глобальный ID 7) Июль 11 11: 07: 22,000 [отладки] circuit_get_by_circid_channel_impl (): circuit_get_by_circid_channel_impl () возвращение цепи 0x559406d3b4e0 для circ_id 4046120911,идентификатор канала 7 (0x559406d49690) 11 июля: 11: 07: 22.000 [debug] command_process_destroy_cell (): получено для circID 4046120911. 11 июля: 11: 07: 22.000 [info] circuit_mark_for_close_ (): схема 0 (идентификатор: 256) помечена для закрытия в момент закрытия../src/core/or/command.c:654 (причина происхождения: 517, новая причина: 0) 11 июля 11: 07: 22.000 [отладка] connection_or_process_cells_from_inbuf (): 13: запуск, inbuf_datalen 0 (0 в ожидании в tlsобъект).11 июля. 11: 07: 22.000 [debug] circuit_increment_failure_count (): n_circuit_failures сейчас 6. Июль 11 11: 07: 22.000 [info] circuit_free_ (): канал 0 (id: 256) был освобожден.11 июля, 11: 07: 23.000 [debug] circuit_remove_handled_ports (): порт 443 не обрабатывается.Jul 11 11: 07: 23.000 [info] circuit_predict_and_launch_new (): иметь 0 чистых кругов (0 внутренних), нужен еще один выходной круг.11 июля, 11: 07: 24.000 [debug] circuit_remove_handled_ports (): порт 443 не обрабатывается.Jul 11 11: 07: 24.000 [info] circuit_predict_and_launch_new (): иметь 0 чистых кругов (0 внутренних), нужен еще один выходной круг.11 июля. 11: 07: 25.000 [debug] circuit_remove_handled_ports (): порт 443 не обрабатывается.Jul 11 11: 07: 25.000 [info] circuit_predict_and_launch_new (): иметь 0 чистых кругов (0 внутренних), нужен еще один выходной круг.11 июля, 11: 07: 26.000 [debug] circuit_remove_handled_ports (): порт 443 не обрабатывается.Jul 11 11: 07: 26.000 [info] circuit_predict_and_launch_new (): иметь 0 чистых кругов (0 внутренних), нужен еще один выходной круг.и многие другие ...
Мой конфигурационный файл выглядит так:
REACTOR_THREADPOOL_MAXSIZE = 1000
CONCURRENT_REQUESTS = 1000
CONCURRENT_REQUESTS_PER_DOMAIN = 10
DOWNLOAD_DELAY = 1
также я посылаю сигнал NEWNYM в Tor каждый 1000 запросов.
Как можноЯ достигаю много пауков, работающих над Tor одновременно?