Папки с базовым требованием HTTP-аутентификации, применяемым к файлу .htaccess, не обязательно должны быть в вашем файле robots.txt, поскольку пауки не смогут получить к ним доступ.
Я обычно не исключаю css / javascript при создании сайтов. Я не думаю, что основные поисковые системы заинтересованы в том, чтобы перечислять эти файлы в результатах поиска, потому что они бесполезны для большинства людей. Однако, если вы хотите быть в безопасности, добавление их не повредит.
Что касается изображений, если вы не хотите, чтобы они появлялись в таких местах, как Google Images, вы можете добавить папку с изображениями в файл robots.txt.
Я бы не стал запрещать вашу регистрацию или страницы входа. Они являются законными областями вашего сайта и должны быть проиндексированы.
Очень важно помнить о файлах robots.txt, что они не имеют возможности применять свои директивы. Они могут только дать рекомендации пауку, чтобы не ползти определенные вещи. В то время как большинство крупных поисковых систем будут уважать это, некоторые самодельные и / или вредоносные пауки не будут. Если есть что-то, что вы хотите защитить от пауков, убедитесь, что оно защищено каким-либо механизмом аутентификации или не доступно через Интернет.