Почему фильмы Yahoo возвращают страницу с «неизвестной проблемой»? - PullRequest
Новая
       38

Почему фильмы Yahoo возвращают страницу с «неизвестной проблемой»?

1 голос
/ 30 ноября 2011

Поскольку я знаю, что у фильмов Yahoo нет API, я сделал для этого скребок (Java).Теперь проблема в том, что, поскольку я запрашиваю несколько страниц для фильмов Yahoo, иногда возвращается страница «неизвестная проблема» , поэтому я решил повторно запросить страницу, пока она не покажет страницу с информацией, которую яхочу, но иногда мне нужно повторно запросить как 20 раз, 40, 120, 400, так что это не нормально :(. Я почти уверен, что запрашиваю правильный URL. Вот пример URL

http://movies.yahoo.com/mvc/dfrv?mid=1810159162&uid=vdpL427zgsScLbwOEsyG4zOn1bQex.F2Xg--&s=&i=0&spl=0

Итак, я делаю пагинацию.

Кто-нибудь знает, почему это происходит? Ограничивает Yahoo?

Кроме того, вы знаете другой источник или API дляполучить обзоры фильмов? (кроме IMDB)

Спасибо

1 Ответ

2 голосов
/ 30 ноября 2011

Сначала убедитесь, что это приемлемо для их TOS. Возможно, они не оценят, что их сайт очищают.

Во-вторых, я бы предположил, что они ограничивают ваши связи. Вместо того, чтобы пытаться снова, пока это не сработает, я бы задушил это сам. Рассмотрим Thread.sleep(500). (Подкорректируйте номер так, чтобы вы не получили сообщение об ошибке.) Если вы постоянно появляетесь как удушенные, они, вероятно, просто заблокируют ваш IP.

...