Мой сценарий селена открывает веб-страницу, затем действительно медленно по очереди обрабатывает элементы DOM с помощью селекторов css, выполняет вычисления и вставляет значения в базу данных.
Я могу ускорить весь процесс, если я выполню эти вычисления в другом потоке, в то время как основной поток откроет следующую страницу, выполнит все необходимые действия на этой странице и дождется завершения второго потока, а затем снова.
Но когда браузер покидает страницу, у меня больше нет доступа к элементам DOM, потому что страница изменилась. Мне было интересно, можно ли сохранить эту веб-страницу в какую-то переменную для последующей обработки в другом потоке, чтобы я мог создать какой-то пул обработки, и все приложение будет разделено на 2 потока (поток браузера и поток обработки / insert_db).
Нет смысла создавать пул только запросов INSERT, потому что INSERT не медленный - вся процедура обработки с перебиранием элементов страницы медленная