Я очищаю веб-сайт, на котором есть ссылки в формате: site.net/user/username/post
. Для большинства пользователей я могу просто перейти на /user/username и извлечь ссылки на все их сообщения и выполнить итерации.Однако для некоторых пользователей сайт / пользователь / имя пользователя явно поврежден и является пустым.Тем не менее, Google по-прежнему может находить сообщения в папке / user / username / post, и сообщения не повреждены.
Можно ли получить список всех /user/username/post1|post2|post3 --> [post1,post2,post3] или просто получить к ним прямой доступ?