Я думаю, что проблема в том, что вы запускаете его из локального скрипта. Это ведет себя не так, как в браузере, поскольку не предоставляет никакой информации о местонахождении веб-сайта. Необходимая информация предоставляется во время выполнения, поэтому вам действительно нужно смоделировать сеанс браузера, чтобы получить данные, если они не предлагают API, где вы можете вручную указать свою информацию.
Возможное решение для этого будет selenium
, поскольку это поможет вам симулировать сеанс браузера. Вот документация selenium
для дальнейшего чтения.
Надеюсь, я смогу вам помочь. Хорошего дня.