Мне нужно построить веб-сканер.
это веб-приложение должно сканировать любую веб-страницу и сохранять результат, если некоторые данные были изменены.
он должен искать ключевые слова и искать, были ли изменены или изменены их значения.
я создам это приложение с asp.net mvc.
что я должен использовать для сканирования какой-либо веб-страницы? что делать, если я вставлю в свою страницу любой URL страницы, которую я буду сканировать? они какие-то роботы, которые ищут его, если какой-то контент меняется?
пожалуйста, помогите мне понять, что мне нужно, чтобы построить такую вещь.