Как я могу получить новый ip от tor каждый запрос в потоках?

Question

Я пытаюсь использовать TOR-прокси для очистки, и все отлично работает в одном потоке, но это медленно.Я пытаюсь сделать что-то простое:

def get_new_ip():
    with Controller.from_port(port = 9051) as controller:
        controller.authenticate(password="password")
        controller.signal(Signal.NEWNYM)
        time.sleep(controller.get_newnym_wait())


def check_ip():
    get_new_ip()
    session = requests.session()
    session.proxies = {'http': 'socks5h://localhost:9050', 'https': 'socks5h://localhost:9050'}
    r = session.get('http://httpbin.org/ip')
    r.text


with Pool(processes=3) as pool:
    for _ in range(9):
        pool.apply_async(check_ip)
    pool.close()
    pool.join()

Когда я запускаю его, я вижу вывод:

{"origin": "95.179.181.1, 95.179.181.1"}
{"origin": "95.179.181.1, 95.179.181.1"}
{"origin": "95.179.181.1, 95.179.181.1"}
{"origin": "151.80.53.232, 151.80.53.232"}
{"origin": "151.80.53.232, 151.80.53.232"}
{"origin": "151.80.53.232, 151.80.53.232"}
{"origin": "145.239.169.47, 145.239.169.47"}
{"origin": "145.239.169.47, 145.239.169.47"}
{"origin": "145.239.169.47, 145.239.169.47"}

Почему это происходит и как я могу дать каждому потоку свой IP?Кстати, я пробовал библиотеки вроде TorRequests, у TorCtl результат тот же.

Я понимаю, что кажется, что TOR имеет задержку перед выдачей нового IP, но почему один и тот же IP попадает в разные процессы?

Answer 1

Если вам нужны разные IP-адреса для каждого соединения, вы также можете использовать Потоковая изоляция через SOCKS, указав другую прокси-комбинацию username:password для каждого соединения.

С помощью этого метода вынужен только один экземпляр Tor, и каждый клиент запросов может использовать другой поток с другим узлом выхода.

Чтобы настроить это, добавьте уникальные учетные данные прокси для каждого requests.session объекта, например: socks5h://username:password@localhost:9050

import random
from multiprocessing import Pool
import requests

def check_ip():
    session = requests.session()
    creds = str(random.randint(10000,0x7fffffff)) + ":" + "foobar"
    session.proxies = {'http': 'socks5h://{}@localhost:9050'.format(creds), 'https': 'socks5h://{}@localhost:9050'.format(creds)}
    r = session.get('http://httpbin.org/ip')
    print(r.text)


with Pool(processes=8) as pool:
    for _ in range(9):
        pool.apply_async(check_ip)
    pool.close()
    pool.join()

Tor Browser изолирует потоки для каждого домена, задав для учетных данных значение firstpartydomain:randompassword, где randompassword - это случайный одноразовый номер для каждого уникального домена первого лица.

Если выОбходите по одному и тому же сайту, и вам нужны случайные IP-адреса, затем используйте случайную комбинацию имени пользователя и пароля для каждого сеанса.Если вы сканируете случайные домены и хотите использовать ту же схему для запросов к домену, используйте метод Tor Browser domain:randompassword для учетных данных.

Answer 2

У вас есть только один прокси, который прослушивает порт 9050. Все 3 процесса отправляют запросы параллельно через этот прокси, поэтому они используют один и тот же IP.

То, что происходит:

1. Все 3 процесса запрашивают у прокси новый IP
2. Прокси-сервер либо запрашивает новый IP-адрес 3 раза, получает 3 ответа и применяет последний, либо он распознает, что уже ожидает новый IP-адрес, и игнорирует 2 запроса, отвечая на 3 из них вместе. Это будет зависеть от реализации прокси.
3. Процессы отправляют свои запросы через прокси, что приводит к тому же IP.
4. Процессы завершены, и запущены еще 3 процесса. Промыть и повторить.

Именно поэтому IP-адреса одинаковы для каждого блока из 3 запросов.
Вам понадобятся 3 независимых прокси, чтобы иметь 3 разных IP-адреса одновременно.

---

РЕДАКТИРОВАТЬ:

Возможное решение с использованием блокировок и 3 прокси, работающих в фоновом режиме:

import contextlib, threading, time

_controller_ports = [
    # (Controller Lock, connection port, management port)
    (threading.Lock(), 9050, 9051),
    (threading.Lock(), 9060, 9061),
    (threading.Lock(), 9070, 9071),
]

def get_new_ip_for(port):
    with Controller.from_port(port=port) as controller:
        controller.authenticate(password="password")
        controller.signal(Signal.NEWNYM)
        time.sleep(controller.get_newnym_wait())

@contextlib.contextmanager
def get_port_with_new_ip():
    while True:
        for lock, con_port, manage_port in _controller_ports:
            if lock.acquire(blocking=False):
                get_new_ip_for(manage_port)
                yield con_port
                lock.release()
                break
        time.sleep(1)

def check_ip():
    with get_port_with_new_ip() as port:
        session = requests.session() 
        session.proxies = {'http': f'socks5h://localhost:{port}', 'https': f'socks5h://localhost:{port}'}
        r = session.get('http://httpbin.org/ip')
        print(r.text)

with Pool(processes=3) as pool:
    for _ in range(9):
        pool.apply_async(check_ip)
    pool.close()
    pool.join()