Я использую старую консоль поиска, несмотря на то, что новая уже существует некоторое время, но,...
Прошло 48 часов с тех пор, как я обновил мой файл robots.txt, вы можете посмотреть мой файл robots
У меня есть обновленный сайт WordPress, на котором запущены WooCommerce и Yoast, для которых в...
В следующем файле robots.txt говорится, что нужно запретить все каталоги для сорока-краулера
В настоящее время у меня есть веб-сайт (http://www.agents -world.com / ), обслуживаемый node.js с...
На наших сайтах некоторые страницы могут быть доступны только после входа в систему ... Хорошо ли...
Кто-то испортил наш robots.txt, случайно добавив \n после всего нашего allow: /products/, что...
Я разработчик на C #, и в прошлом году я взял на себя несколько проектов на работе, которые...
Я собираюсь получить информацию из AllRecipes.co.uk, и мне просто нужна помощь в понимании файла...
это может показаться простым вопросом, но я борюсь за эту проблему с понедельника.Есть веб-сайт...
Я не знаю, что я установил, возможно, он был установлен самостоятельно или какие настройки я...
Я нашел этот очень крутой VBA, он делает то, что говорит, но, как я заметил, он постоянно меняет...
Я тестирую конвейеры на Heroku. У меня в конвейере есть промежуточное приложение и производственное...
В последние несколько недель Google сообщал об ошибке в поисковой консоли.Все больше и больше моих...
Я создаю основанный на Python веб-браузер, который собирает данные о ценах и спецификациях для...
С учетом следующих URL: example.com / products example.com / products # / page-2 example.com /...
У меня есть такой URL, как я могу исключить в robots.txt. Они не работают Disallow: /*rss?*...
простой вопрос, но не могу найти четкую документацию, чтобы получить правильный ответ.Мне нужно...
Я получил работу, чтобы избавиться от "Нет информации для этой страницы" на веб-сайте.Веб-сайт...
Я скачал этот угловой универсальный стартер https://github.com/angular/universal-starter. Установил...
Вот несколько примеров путей плюс ожидаемый доступ для сканеров: /user?id=1 -- Allow /user
Генератор карты сайта не добавляет все страницы. Я ввел доменное имя сайта в генератор карт сайта,...
Я новичок в веб-скарпинге и хотел бы научиться делать это правильно и вежливо.Моя проблема похожа...
У меня есть несколько доменов stag и dev для проекта, над которым я работаю, и в конечном итоге у...
Чтобы избежать дублирования контента на CDN моего сайта, я создал отдельные файлы robots.txt для...