Создание комплексной программы очистки / базы данных для сайтов недвижимости - PullRequest
0 голосов
/ 24 октября 2018

У меня есть проект, который я изучаю, где я хочу почистить сайты брокеров по недвижимости в моей стране (30-40 сайтов списков) и сохранить информацию о каждой недвижимости в базе данных.

Я немного поэкспериментировал со соскобом в python, используя BeautifulSoup и Scrapy.

Чего бы я в идеале хотел бы добиться - это ежедневно обновляемой базы данных, которая будет находить новые свойства и удалять свойства, когда они продаются.

Есть ли какие-либо указания относительно того, как этого добиться?Я относительно новичок в программировании и открыт для изучения разных языков и ресурсов, если Python не подходит.

Извините, если этот форум не предназначен для такого рода неопределенного вопроса: -)

1 Ответ

0 голосов
/ 24 октября 2018

Постройте скребок и запланируйте ежедневный пробег.Вы можете использовать scrapy, и ежедневный прогон будет ежедневно обновлять базу данных.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...