Если вы хотите, чтобы пользователи могли просматривать ваш сайт, вам, очевидно, понадобятся ссылки на другие страницы. Чтобы (попытаться) сделать эти ссылки трудными для сканера, вы можете попробовать динамически отобразить все ваши ссылки в javascript. Это означает, что робот, который не выполняет полный DOM-рендеринг, как браузер, не сможет извлечь ссылки. Однако, конечно, кто-то может взглянуть на ваш сайт и создать что-то такое, что разберет ссылки, если они так склонны.
Что касается сокрытия структуры каталогов от пользователей и / или ботов, то да, вам придется реализовать какое-то переписывание URL:
Outbound: /assets/images/image.jpg -> /somecode.jpg
Inbound: /somecode.jpg -> /assets/images/image.jpg
В противном случае они смогут просматривать ссылки (статические или динамически отображаемые) в своем браузере и определять структуру каталогов.