Каноническая ссылка как способ борьбы со скребками?

Question

Допустим, несколько внешних сайтов очищают / собирают ваш контент и публикуют его как свои собственные. Предположим также, что вы поддерживаете один уникальный / постоянный URL для каждого фрагмента контента, поэтому псевдонимы контента (на вашем сайте) никогда не будут проблемой.

Есть ли какая-либо ценность с точки зрения SEO для включения в ваш заголовок канонической ссылки в любом случае, так что, когда ваш сайт "очищается", каноническое указание внедряется в любой сайт, крадущий ваш контент при условии, что они собирают сырой HTML, а не идут через RSS и т. д.)?

Я слышал разные вещи о поведении межсайтовых канонических ссылок, от "они игнорируются" до "поведение не определено" до "это не может повредить", чтобы "убедиться, что это именно то, для чего предназначен канонический" , У меня сложилось впечатление, что canonical - это хороший способ справиться с внутри -сайтом, но не обязательно с inter -сайтингом.

Answer 1

Я не могу ответить на ваш вопрос напрямую.

Вы (кто-то из вашей компании) должны связаться со сторонами, которые распространяют ваш контент без разрешения, и попытаться заставить их сделать это с разрешения. Вы должны уточнить свою политику в отношении несанкционированной синдикации. Это, конечно, деловое решение, и вам, вероятно, придется принять участие в процессе развития / процесса вашего бизнеса и юристах в области ИС.

Если они постоянно продолжают это делать, и вам абсолютно необходимо заставить их остановиться, вы можете начать подавать мусор своим роботам. Обнаружение их роботов может быть нетривиальным, так как они, вероятно, будут подделывать «настоящий» заголовок пользовательского агента и использовать разные IP-адреса (однако большинство злоумышленников в наши дни используют EC2), однако, если вы добьетесь успеха, их веб-сайты заполнятся барахла.

Как только их веб-сайты заполнены барахлом (или хуже), вы можете снова связаться с ними и спросить, не хотят ли они прекратить свое противное поведение.