Если эти ссылки ведут на ваши собственные страницы, вы можете создать файл robots.txt и поместить его в свой корневой каталог.Вот что я использую для своего личного сайта:
User-agent: *
Disallow: /blog
Disallow: /dev
Disallow: /apps
В первой строке User-agent указывается, на какие поисковые системы / агенты вы ориентируетесь (в моем случае ВСЕ поисковые системы).Остальные - Запретить правила, по которым каталоги / файлы, которые я им говорю НЕ указывать.
Подробнее о robotstxt.org или Google robots.txt.