Это официальный robot.txt
, используемый GitLab, и / profile или ///.git areindeed disallowed.
gitlab-ceПроблема 24289 посвящена улучшению SEO самого GitLab.
Каждый раз, когда в этот файл добавляется новое ограничение (как в gitlab-ce commit d71edf0 ), это предотвращаетинформация для утечки.Но, похоже, это относится как к публичным, так и к частным репозиториям.