Как исключить из индексации страницы, созданные гэтсби? - PullRequest
Новая
       119

Как исключить из индексации страницы, созданные гэтсби?

1 голос
/ 07 августа 2020

Контекст

Гэтсби , чудо CMS без головы, вместе с gatsby-plugin-advanced-sitemap упрощает создание надежного файла sitemap.xml.

Плагин поддерживает исключение страниц либо с помощью slug, либо с помощью умного регулярного выражения.

Однако в моем случае у меня есть 2 коллекции страниц с пользовательским контентом:

  • коллекция A, со страницами, которые необходимо разместить, и проиндексировать ,
  • коллекцию B, со страницами, которые необходимо разместить, , но НЕ проиндексировать .

Коллекция B не имеет шаблона, позволяющего идентифицировать их с помощью регулярного выражения.

Вопрос

Как исключить коллекцию B из индексации?

1 Ответ

0 голосов
/ 07 августа 2020

Файлы, которые вы не включаете (или исключаете) в свой sitemap.xml, также могут быть проиндексированы, если их robotx.txt позволяет роботам Google с атрибутом index или если ссылки с других страниц на страницу имеют follow атрибут.

Что касается вашего вопроса, плагин позволяет вам добавить массив exclude страниц, которые не будут добавлены в ваш sitemap.xml, несмотря на то, что они были получены вашим запросом. Итак, в вашем gatsby-config.js: 

{
      resolve: `gatsby-plugin-advanced-sitemap`,
      options: {
        query: `{}`, // your query
        mapping: {}, // add if needed
        exclude: [
          `/dev-404-page`,
          `/404`,
          `/404.html`,
          `/offline-plugin-app-shell-fallback`,
          `/terms-and-conditions`,
          `/terms-of-use`,
          `/cookie-policy`,
          `/privacy-policy`,
          /(\/)?hash-\S*/,
        ],
        createLinkInHead: true,
        addUncaughtPages: true,
        additionalSitemaps: [], // add if needed
      },
    },

В идеале ваши исключенные страницы могут следовать способу регулярного выражения, чтобы автоматически исключаться при создании. Однако, если нет, как показано в приведенном выше коде, вы можете добавить вручную. В этом случае ни /terms-of-use, /cookie-policy, ни /privacy-policy не будут добавлены в ваш sitemap.xml.

...