Моя цель - получить различную SEO-релевантную информацию для разных сайтов. В основном все, что вы видите на панелях инструментов SEO для ваших браузеров (рейтинг страницы, количество ссылок, позиция в результатах поиска и т. Д.).
Но как лучше всего получить эту информацию? Где эти панели инструментов получают это? Есть ли у них собственные сценарии индексирования и базы данных, или есть публичные базы данных со всей этой информацией, которую можно «извлечь» с какого-либо сайта или запросить через API?
Мне это нужно для довольно большого количества сайтов, а также периодически, например, для Сравнение неделя за неделей, поэтому делать это вручную на самом деле не вариант.