Я хотел бы проверить, не содержит ли список URL noindex.Поэтому я уже проверяю
< meta name="robots" >
с DOM, но я также хотел бы проверить X-robots-tag.Есть ли простой способ сделать это?
Единственный способ, который я могу себе представить, это foreach() на get_headers($url).