Instagram соскоб после новых изменений с помощью скрапа - PullRequest
0 голосов
/ 30 августа 2018

Я пытался собрать комментарии к куче публичных постов в Instagram, написав сканер Python (Scrapy). Я просмотрел все доступные материалы, особенно это , но пока мне не повезло. Стоит отметить, что я также пытался создать хеш из

rhx_gis + ":" + csrf_token + ":" + пользовательский агент + ":" + переменные

как уже упоминалось здесь , но тоже без везения.

Я продолжаю получать 403 ответа от сервера. Сначала я подумал, что это из-за моих настроек USER_AGENT (для Mozzila 5 ....) или заголовков, но я их протестировал (я даже пошел дальше, проанализировал X-Instagram-GIS запроса, сделанного из браузера). и проверил, совпадает ли хеш MD5 по моему запросу Scrapy. Сгенерированный URL-адрес работает нормально в браузере, независимо от того, вошел ли я в IG или нет - однако он разрывается при использовании в окне Incognito, оболочке Scrapy или Scrapy.

Сначала я подумал, что это означает, что очистка просто невозможна, однако скребок rarcega работает просто отлично (за исключением того, что он не очень удобен для удаления отдельных сообщений, а не целых профилей пользователей).

Буду очень признателен за любые отзывы или мысли!

...