Существует ли служба / сайт веб-поиска с API или с YQL?

Question

Я хотел бы создать инструмент, который осуществляет программный доступ к поисковой системе.

Недавно я наслаждался использованием YQL и подумал, что это может быть полезно, поскольку он может копать данные из HTML-страниц.

Но я попробовал это с поиском в Google, Bing и Yahoo, и все они, похоже, блокируют YQL.

Интересно, есть ли менее известные сайты для поиска в Интернете, которые могли бы работать с YQL.

Или на самом деле, если есть еще поисковик, который предлагает API, который был бы еще лучше.

(На самом деле, я только ищу linguistics.stackexchange.com, потому что API Stack Exchange не предоставляют способ поиска по тексту, который я могу найти.)

Answer 1

Большинство сайтов поисковых систем блокируют доступ к скреперам экрана и другим агентам.YQL разработан так, чтобы соответствовать файлу robots.txt, поэтому на многих сайтах, подобных этому, он не будет работать.

Вместо этого я предлагаю перейти на шаг выше скрепления экрана HTML и использовать опубликованныеAPI поиска.

Например, в YQL есть таблица, которая обеспечивает доступ к результатам поиска Bing:

select * from microsoft.bing where query="soccer" and source in ("web","image")

Вы также можете посмотреть на Yahoo!BOSS API или использование Bing Search API напрямую.