есть ли смысл иметь robots.txt с одной строкой контента, как показано ниже
Пользователь-агент: *
по сравнению с тем, что его вообще нет?
Нет; в этом нет никакого смысла.
Нет, Google (и давайте не будем биться вокруг, Google - поисковая система, о которой вы должны позаботиться) по умолчанию будет сканировать все, если вы не скажете этого.
Если вы хотите помочь Google, используйте инструменты Google для веб-мастеров и отправьте карту сайта в правильном формате
http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156184