Как мне «получить» данные по всем барам / клубам США в базе данных.Yelp API?

Question

Что я пытаюсь сделать, это создать базу данных всех баров в Соединенных Штатах. Мне нужно, чтобы эта база данных регулярно обновлялась (каждую неделю или около того), чтобы включать вновь открытые бары.

Проблема с yelp api в том, что они вернут только 20 результатов. В радиусе 5 миль от меня более 800 баров. Как я могу реально достичь своей цели?

Answer 1

вам нужно написать сканер, который будет отслеживать сайт, чтобы получить структуру ссылок, чем посещать каждую страницу и очищать списки.В качестве альтернативы вы можете использовать API и просто делать столько запросов, сколько вам нужно, чтобы получить все результаты.

Answer 2

Если вы можете получить доступ к данным с веб-страниц, то вы можете использовать IRobotSoft Web Scraper, чтобы извлечь данные и сохранить их в базе данных. Проверьте, соответствуют ли демонстрации здесь http://irobotsoft.com/help/ тому, что вы хотите.