Могу ли я использовать одну и ту же ручку curl для разных URL? (пытается загрузить данные с нескольких страниц одного URL)

Question

Я пытаюсь загрузить данные с одного URL, который имеет несколько страниц. пр) https://stackoverflow.com/questions/tagged/c%2b%2b?sort=newest&page=2&pagesize=15 Я хотел бы скачать все данные с разных страниц пример) страницы = 1, страницы = 2, страницы = 3 и т. д.

Если я создаю ручку скручивания с одним URL с определенной страницей, можно ли заменить URL-адреса (только номер страницы), не беспокоясь о производительности?

Я создал дескриптор curl каждый раз, когда перехожу на следующую страницу и загружаю данные. Я получил совет от других людей, что было бы лучше создать сеанс ssl и сохранить его соединение, чтобы мне не приходилось проходить все рукопожатия SSL при создании соединений SSL.

Согласие со страницей Libcurl, рекомендуется использовать один и тот же дескриптор для повышения производительности, но я не уверен, что смогу сделать это с разными URL-адресами.

Answer 1

Вы можете и должны повторно использовать один и тот же экземпляр curl, когда это возможно.Просто продолжайте повторять curl_easy_setopt(CURLOPT_URL, ...); curl_easy_perform(...); звонки.

Дополнительные примечания:

1. Вы можете загружать несколько URL-адресов параллельно, если используете curl_multi_initинтерфейс ( пример ).

2. StackExchange имеет очень хороший REST API .Нет необходимости его очищать.