Я ищу способ проверить, относится ли сайт к какой-либо базе данных по URL-фильтрации. Кто-нибудь знает такую базу данных с бесплатным API?
Ознакомьтесь с API безопасного просмотра Google . Это позволяет вам проверять URL-адреса по черным спискам Google подозрительных и фишинговых страниц. Вот Руководство разработчика .
BrightCloud только что выпустил API для классификации URL , который является более полным, чем Google Safe Browsing API - он стоит денег, но дешев. Помимо таких категорий, как «Для взрослых» и «Азартные игры», в нем также есть категории, ориентированные на безопасность, такие как фишинг, вредоносные программы и спам.
Полный список категорий здесь: http://brightcloud.com/masterdburllist.asp
Оформить заказ SimilarWeb API. API выполнит классификацию на уровне домена и будет основан на анализе контента SimilarSite и машинном обучении.
Ссылка на API: https://developer.similarweb.com/
Раскрытие, я связан с SimilarGroup, создателем SimilarWeb.