Можно ли настроить NightwatchJS-тест, гарантируя, что robots.txt-файл для сайта не выглядит так:
User-agent: *
Disallow: /
Просто так, при развертывании - можно было бы запускать тесты, проверяя ручную работу.
Я могу только найти способы взаимодействия с HTML-элементами, - я не нашел способа «извлечь весь контент из URL», чтобы проверить его на наличие подстрок.