Python Webscrape с помощью Scrapy или Excel Query Search? - PullRequest
0 голосов
/ 18 октября 2018

Мой вопрос касается выяснения общей эффективности выполнения паутины Python с помощью стихов Scrapy, просто выполняя поиск в веб-запросах через Microsoft Excel для конкретной задачи.

Я пытаюсь автоматически извлекать данные с веб-сайта НФЛ.Например, http://www.nfl.com/stats/categorystats?tabSeq=2&offensiveStatisticCategory=GAME_STATS&conference=ALL&role=TM&season=2018&seasonType=REG&d-447263-s=TOTAL_YARDS_GAME_AVG&d-447263-o=2&d-447263-n=1

Например, извлечение ранга нарушения НФЛ каждую неделю на еженедельной основе.Я знаю, что могу просто скопировать и вставить информацию в электронную таблицу Excel, но это не то, что я пытаюсь сделать.Я пытаюсь найти способ автоматизировать процесс, чтобы мне не пришлось делать это самостоятельно.

Когда дело доходит до Python Webscrape с помощью Scrapy, задача заключается в разработке кода, который получит всю информацию, которую я ищу.Стоит ли разрабатывать код, если поиск Microsoft Query - лучшая альтернатива?

В идеале моя общая цель - использовать Python Webscrape через Scrapy или Microsoft Excel для извлечения данных каждую неделю, чтобы мне не пришлосьвручную сделай это сам.К ним относятся извлечение данных из нескольких внешних источников и сохранение в один файл.Например, NFL Offense, NFL Offense Passing, NLF Defense Rush и т. Д. Я просто либо запускаю программу, либо открываю электронную таблицу Excel, и будет новый лист (или новый файл Excel) с данными обновления, поэтомуЯ могу пойти дальше и выполнить мой анализ данных.

Будем благодарны за любые мысли или мнения!

1 Ответ

0 голосов
/ 18 октября 2018

Если я вас правильно понимаю, вы хотите очистить сайт.

Если вы знакомы с Python, я бы порекомендовал использовать красивый суповый пакет .Вероятно, это подходящая среда для создания веб-страниц, и все, что вам нужно для определения HTML-тегов, которые вы хотите очистить.Это также поможет при просмотре страниц.

Существует множество учебных пособий, таких как , эта , которые могут помочь вам понять, как решить вашу проблему.

Надеюсь, это поможет!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...