User-agent: * Allow: /
Значит ли это, что я могу сканировать все тексты на этом веб-сайте, чтобы провести свое исследование?