Веб-страница очистки, требующая входа с использованием node.js

Question

Постановка задачи:

У меня есть эта веб-страница, где у каждого кандидата в списке есть ссылка, содержащая некоторую информацию, которую я хочу почистить.

Поэтому для всех кандидатов я должен нажать насвязать и получить данные вручную, что является утомительным занятием.

Я хочу автоматизировать это, пожалуйста, помогите мне.

Список кандидатов

МойРешение:

Я думаю, что для автоматизации этой задачи я должен написать скрипт, который будет нажимать на каждую ссылку и очищать данные.

Но я хочу знать, как я могу очистить веб-страницу, которая требуетlogin.

Доступ к веб-странице, которую вы видите, возможен только через страницу входа.

Если у кого-то кроме этого метода есть более подходящее решение для этой задачи - помогите.

Спасибо:)

Answer 1

Если вам нужно один раз очистить данные и сохранить их, вы можете использовать расширение webscraper.io chrome и сохранить данные в нужном формате файла.Здесь очистка будет выполняться прямо в браузере, поэтому вы можете вручную войти в систему и начать очистку.

Иначе, если вы хотите интегрировать процесс очистки на сервере и предоставлять данные своим пользователям, вы можетеиспользовать библиотеки, такие как axios / request, для выполнения HTTP-запросов, и использовать cheerio для извлечения необходимых данных из HTML.

Вы также можете использовать API-интерфейс для хромированных узлов без головы, Puppeteer.