Маяк - ошибка robots.txt Синтаксис не понят

Question

Когда я тестирую мой веб-сайт с помощью Lighthouse, он сообщает, что обнаружил 50 ошибок в файле robots.txt, и я не знаю, каковы проблемы и как их решить. Он показывает содержимое моего файла index.html с ошибкой для каждой строки. В чем проблема? И как это решить ??

Answer 1

Ну, в последнее время была похожая проблема. Все, что мне нужно было сделать, это сгенерировать robots.txt вручную. Просто погуглите это - generate robots.txt. Затем загрузите его в свое приложение. Также было бы неплохо сгенерировать sitemap.xml.

Если вы слишком ленивы, вы можете просто скопировать и вставить следующий код:

User-agent: *
Allow: /
Disallow: /example  // example is directory u want to exclude, 
                    // if u dont want to exclude anything, just remove this line

Sitemap: https://example.com/sitemap.xml