Я работаю над своим хобби-проектом - хочу получить данные с 470 страниц, и у меня есть рабочий код Python, который выбирает его и записывает в csv-файлы. В частности, это таблица предложений фондовой биржи.
Чего мне не хватает, так это того, что каждая из этих страниц может обновлять свое содержимое в любую секунду (новый заказ, измененный заказ, удаленный заказ), и я хотел бы отслеживать каждое изменениеиз них также.
Что было бы лучшей идеей для реализации? Я могу подумать:
- порождает столько потоков, сколько страниц (470) - звучит немного тяжело, но каждая из этих страниц может меняться сама по себе
- каждая тема получает страницу сhttp запрашивает и вычисляет хэш md5. Если newHash! = OldHash, то я обработаю его.
Есть ли более разумный способ сделать это?