Я должен получить информацию о сайте, как это делает поисковая система. Мне нужно описание сайта, ссылка и некоторая информация о них, и я буду хранить его в своей БД. Есть ли библиотеки для этого? Пожалуйста, помните, что я могу сканировать целую веб-страницу, но мне нужна только информация в формате, просканированном поисковыми системами.
Спасибо
Картик