Есть ли разница в производительности при использовании Googlebot против Mozilla в качестве CURLOPT_USERAGENT? Я предполагаю, что некоторые страницы могут выводить более простой HTML, когда робот Googlebot используется, но на самом деле я не знаю.
CURLOPT_USERAGENT
Установка пользовательского агента не сделает ваш вызов cURL быстрее. Фактически, на некоторых серверах они намерены заблокировать подозрительного агента пользователя. Поэтому, просто используйте пользовательский агент по умолчанию.