Какую информацию может получить сайт, если его уничтожит паук-мусорщик?

Question

У меня есть однофайловый паук, который сканирует только сайт. Какую информацию может видеть владелец сайта?

Здесь я не использую пользовательские настройки. (Это настройка по умолчанию).

Пример:

1. Имя паука

2.IP

3.OS

Answer 1

Владелец сайта может видеть эту информацию.

1. Имя паука. Вы можете изменить на все, что захотите.
2. IP-адрес, вы можете использовать VPN или прокси, чтобы изменить его.
3. Браузер, который вы используете. Чтобы изменить это go на настройки и go, найдите USER_AGENT удалите комментарий, и вы можете легко go в Google для поиска других пользовательских агентов.

4. Cookies. По умолчанию в Scrapy включены файлы cookie. Go в настройки и найдите COOKIES_ENABLED Удалите комментарий, чтобы он был установлен на False. Это сделало бы очистку более незаметной.

5. Concurrent_Requests. Так же и в настройках. Это то, сколько запросов вы делаете одновременно. Лучше уменьшить число, чтобы сайт был удобнее.