Итак, давайте подойдем к этой проблеме немного по-другому.На самом деле невозможно создать сканер, который может сканировать все сайты электронной коммерции и приносить вам результаты.
Это оставляет нам лучший вариант Search Engines.Скорее всего, вы можете сканировать любую поисковую систему с помощью product query и собирать ссылки, в которых указан продукт для продажи.
Вторая сложность, с которой вы столкнетесь, заключается в том, как определить разницу между e-commerce сайтами и other сайтами.В этом могут помочь такие инструменты, как DiffBot.
Это необходимо сделать в режиме реального времени, потому что, очевидно, вы не планируете создавать огромную базу данных обо всех продуктах на проиндексированных сайтах в Интернете..