YQL robots.txt ограниченные проблемы с URL

Question

Я разрабатываю веб-приложение, которое включает в себя следующий запрос YQL:

SELECT * FROM html WHERE url="{URL}" and xpath="*"

Я развернул новую версию на прошлой неделе и заметил, что страница зависла в запросе YQL. Когда я вернулся вчера, проблема, казалось, исправилась за выходные. Я только что развернул новую версию на сервере, и проблема снова возникла. Стек сервера - это Ngnix / Passenger / Sinatra

Пробивая запрос в консоль YQL, я получаю сообщение об ошибке: «Запрос ограниченного URL robots.txt:»

Я добавил следующий файл robots.txt:

User-agent: Yahoo Pipes 2.0
Allow: /

Но это, похоже, ничего не делает.

Мысли? Мне довольно любопытно, почему YQL сообщает, что URL ограничен robots.txt, а это не так.

Answer 1

Рассмотрим добавленные &одиагностику = true в запросе YQL.У меня это сработало.

Answer 2

У меня была такая же проблема. У меня есть подозрение, что это частично проблема на стороне Yahoo.

В своих приложениях Sinatra я добавил ...

get 'robots.txt' do<br> "User-agent: * Allow: /"<br> end

Время от времени это будет работать ... и тогда на некоторое время снова будет отказано в доступе.

Если вы используете это, чтобы избежать междоменных проблем с javascript ... Я в конце концов сдался и использовал локальный PHP-скрипт для получения данных, а не использовал YQL.