Как предотвратить передачу robots.txt из env в производство? - PullRequest
0 голосов
/ 18 февраля 2009

В прошлом я бывал, что один из наших ИТ-специалистов случайно переместил robots.txt с производства. Блокирование Google и других от индексации сайта наших клиентов в производстве. Есть ли хороший способ справиться с этой ситуацией?

Заранее спасибо.

Ответы [ 5 ]

2 голосов
/ 18 февраля 2009

Попросите ИТ-специалистов изменить разрешения для файла robots.txt на «только чтение» для всех пользователей, чтобы выполнить дополнительные действия:

  1. становится администратором / root
  2. изменение разрешений для записи
  3. перезаписывает файл robots.txt новым файлом
2 голосов
/ 18 февраля 2009

Как SEO, я чувствую вашу боль.

Простите, если я ошибаюсь, но я предполагаю, что проблема вызвана тем, что на вашем промежуточном сервере есть файл robots.txt, потому что вам нужно заблокировать всю промежуточную среду от поисковых систем, которые находят и сканируют ее.

Если это так, я бы предложил, чтобы ваша промежуточная среда была размещена внутри, где это не является проблемой. (Интранет-тип или конфигурация сети для постановки). Это может избежать многих проблем с поисковой системой при сканировании этого контента, например, они случайно удалили этот файл robots.txt из вашей промежуточной версии и сканировали и индексировали дубликат сайта.

Если это не вариант, рекомендуется поместить staging в папку на сервере, например domain.com/staging/, и использовать только один файл robots.txt в корневой папке, чтобы полностью заблокировать эту папку / staging /. , Таким образом, вам не нужно использовать два файла, и вы можете спать по ночам, зная, что другой robots.txt не заменит ваш.

Если ЭТО не вариант, возможно, попросите их добавить его в свой контрольный список, чтобы НЕ перемещать этот файл? Вам просто нужно проверить это - немного меньше спать, но немного больше предосторожности.

1 голос
/ 18 февраля 2009

Я бы установил код на производственном сервере, который содержал производственный файл robots.txt в другом месте, и заставил его отслеживать тот, который используется.

Если они разные, я бы сразу же перезаписал использованную версию рабочей версией. Тогда это не будет иметь значения, если оно будет перезаписано, поскольку плохая версия не будет существовать долго. В среде UNIX я бы делал это периодически с помощью cron.

1 голос
/ 18 февраля 2009

Создайте сценарий развертывания для перемещения различных артефактов (веб-страниц, изображений, вспомогательных файлов и т. Д.) И попросите ИТ-специалиста сделать это, запустив ваш сценарий. Не включайте в этот скрипт файл robots.txt.

0 голосов
/ 18 февраля 2009

Почему ваша промежуточная среда не защищена брандмауэром и не является публично доступной?

Проблема не в Robots.txt ... Проблема в вашей сетевой инфраструктуре.

...