Я сканирую новостные сайты, используя simplecrawler на nodejs.У меня проблема с веб-сайтом forbes.com, в котором запрашивается согласие GDPR на файлы cookie.Форма согласия составлена truste.com.
В Simplecrawler есть параметр, разрешающий использование файлов cookie, и я отметил, что это правда, и я также разрешил домены, которые truste использует в своем согласии на использование файлов cookie.
Iне может сканировать forbes, поскольку сканер перенаправляется с 302 на форму согласия.Глядя на вкладку «Сеть» и источник формы согласия, я не могу понять, что требуется для ее преодоления.
Есть идеи, как ее обойти?Я мог бы использовать прокси не из ЕС, но на самом деле это не то, что мне нужно.