YQL царапает весь сайт / домен

Question

Я пытаюсь получить набор ссылок и контента из домена.

Запрос в Google будет

"site:www.newswebsite.com search_term"

Я видел кое-что близкое к тому, чтобы заставить это работать, но я не могу заставить поиск работать по всему сайту, а затем фильтровать по поисковому запросу.

Возможно ли это без таблицы пользовательских данных?

Answer 1

В конце я дошел до сути.

select title,abstract,url,date from search.web(0) where query="search_term" and sites="www.website1.com,www.website2.com,www.website3.com" | sort (field='date') | reverse()

При этом выполняется поиск 3 сайтов, заказов по дате и новейших. Существует альтернативный способ поменять сортировку, но пока это работает. Я думаю, что это убывает = true в сортировке (поле = 'date', убывание = 'true')

Очень полезно, даже если я сам так говорю.

Answer 2

Кристиан Хейлманн только что написал довольно хорошую рецензию на YQL и получил информацию из источника данных HTML на веб-сайте 24ways .