Невозможно извлечь данные, используя xpath внутри тега скрипта

Question

Я пытаюсь извлечь количество подписчиков канала, используя scrapy, и я выяснил тег сценария, в котором находится число подписчиков, но когда я его проверяю, я получаю черные данные.Пожалуйста, помогите.

split = '\"subscriberCountText\":{\"simpleText\"'
response.xpath("//script[contains(.,'" + split + "')]").extract()

Вы можете искать текст "subscriberCountText":{"simpleText" на странице исходного кода канала, но как его извлечь.

Answer 1

вам нужно добавить идентификатор канала в этом google_api

, и вы получите всю информацию об этом канале в формате json.Например, заданный вами идентификатор канала - «UCqwUrj10mAEsqezcItqvwEw», вам нужно добавить это в параметр «id» в api.Final URL будет «https://www.googleapis.com/youtube/v3/channels?id=UCqwUrj10mAEsqezcItqvwEw&part=snippet%2CcontentDetails%2Cstatistics&key=AIzaSyAWpx46-G9ZByLe8Nk_wqtUekCXvTPM2oI"