Существует множество сервисов, которые предоставляют функции отслеживания цен для Amazon, например, Keepa .Они ежедневно отслеживают около 620 миллионов продуктов на Amazon.Мне было интересно, какой набор инструментов они используют для поддержания такого масштабного отслеживания?Я предполагаю, что они используют очистку веб-страниц для получения своей информации, однако я не уверен, как должна выглядеть архитектура, поэтому не нужно будет платить пару миллионов в месяц.
Может быть, кто-то здесь может предоставитьнекоторые идеи относительно решений, которые могут быть осуществимы для такого рода задач.