Информация о поиске от craigslist, rent.com, apartments.com - PullRequest
3 голосов
/ 03 октября 2011

Мне нужно получить информацию о недвижимости с таких сайтов, как craigslist, rent.com, apartments.com .. Я видел, что есть несколько сайтов, таких как http://www.padmapper.com, которые уже делают это.

У меня вопрос, как это сделать?Я не смог найти API для этих сайтов, которые я могу использовать.Следующий вариант для меня - это очистка веб-страниц.Это законно?Или есть ли ограничения на максимальное количество попаданий с определенного IP-адреса, на котором они смотрят?

Есть ли другие лучшие варианты?

Ответы [ 3 ]

2 голосов
/ 16 апреля 2017

Я только что сделал скребок для apartments.com.Я думаю, что это работает хорошо (пока, пока они не решат изменить его).

Не стесняйтесь раскошелиться / отредактировать: https://github.com/adinutzyc21/apartments-scraper

2 голосов
/ 03 октября 2011

craigslist имеет открытую таблицу данных, которую вы можете запросить с помощью yql. Другие 2 не AFAIK - это не незаконно, чтобы поцарапать их, но вы должны быть вежливы и не бить их сильно / быстро.

1 голос
/ 07 января 2015

Вы можете посмотреть на 3taps .У них есть API разработчика , который подключается к Craigslist и apartments.com

...