Script Extract Script Value

Question

Используя оболочку scrapy по определенному URL, я пытаюсь определить, как я могу извлечь значение автора или значение соавтора из этого сценария в исходном коде страницы? Я пытался

response.xpath('//script').re(r'author":"([0-9.]+)"') 

это скрипт в исходном коде сайта

<script charSet="UTF-8">...
"author":"3810161","contributor":{"id":"3810161"}},
</script>

Answer 1

Вы пытались распечатать все содержимое <script> с самого Scrapy?Я предполагаю, что вы не увидите тот же контент, который вы видите в вашем навигаторе, так как узлы этих тезисов представляются как Javascript, а Scrapy не обрабатывает Javascript.

Если вы просто хотите извлечь некоторый контент из результатов поиска в этих тезисах, вы могли бы просто использовать api (тот же параметр поиска, который вы опубликовали, но дать вам ответ JSON, действительно легче анализировать ...)