URL-пути, указанные в robots.txt, всегда должны начинаться с sla sh (ie. root -относительно).
От Спецификация Google robots.txt :
Значение [путь], если оно указано, должно отображаться относительно root веб-сайта, для которого был выбран файл robots.txt (с использованием того же протокола, номера порта, хост и доменные имена). Значение пути должно начинаться с "/" для обозначения root. Путь чувствителен к регистру.
Итак, вы должны написать:
Disallow: /header.php
Однако это предотвращает сканирование , не обязательно предотвращает индексирование , если этот URL-адрес связан с. Хотя я подозреваю, что это всего лишь HTML -фрагмент (?), Поэтому в этой ситуации нужно было бы блокировать сканирование. (Но учтите, что если у вас много , включая , тогда они лучше содержатся в подкаталоге и просто блокируют подкаталог.)
Проверьте файл robots.txt в robots.txt от Google тестер перед выходом в эфир.