Как создать карту сайта / список

Question

Мне нужно создать карту / список сайтов, но мне также нужно указать имя ссылки.

То, что я имею в виду под этим, скажем, www.google.com, мне нужно создать следующий список.

Google - www.google.com
Images - http://images.google.com/imghp?hl=en&tab=wi
...
My Account - http://images.google.com/imghp?hl=en&tab=wi
    Personal Information Edit - https://www.google.com/accounts/EditUserInfo
    ...
    My Products - https://www.google.com/accounts/EditServices
...
Privacy - http://www.google.com/intl/en/privacy.html
...

Список должен быть привязан к домену, скажем us.example.com.

Я пробовал углубленный поиск с использованием скрипта на python, с Beautiful Soup для разбора ссылок. Это было неудачно.

У кого-нибудь есть идеи, как они это сделают?

Answer 1

Очень простая карта сайта может быть файлом с именем

sitemap.txt

http://website.com/index.php
http://website.com/about.php
http://website.com/blog.php

Если вам нужно «почистить» собственный сайт для всех своих ссылок, возможно, вы неправильно настроили свой сайт: (

В большинстве языков вы можете попробовать итерацию файла / направления, если вы используете базу данных, это будет еще проще, поскольку вы можете просто воспроизвести все ссылки сразу, слегка изменив способ создания URL для вывода карты сайта. .txt (или если у вас более 50/100 URL-адресов, вы можете сгенерировать XML)

Если вам нужна помощь в создании файлового итератора, возможно, вы захотите дать больше информации о том, какой язык подойдет вам лучше всего, так как приличное решение PHP может вообще не помочь, если вы все пишете на python.

Answer 2

Если вы ищете автоматизированный веб-сервис для создания карты сайта, вы можете использовать некоторые из следующих действий:

1. http://www.web -site-map.com / xml_sitemap.php
2. www.xml-sitemaps.com
3. www.sitemapdoc.com

Список услуг вы также можете найти здесь: https://code.google.com/p/sitemap-generators/wiki/SitemapGenerators

Удачи!

Answer 3

1. Перейти к конструктору XML Sitemap
2. Введите путь к домашней странице вашего сайта (например, www.mydomain.com)
3. Введите частоту смены вашего сайта (будьте честны;)
4. Оставьте все как есть и нажмите «Пуск», чтобы инструмент создал карту вашего сайта
5. Когда это будет сделано, загрузите сжатую версию XML Sitemap (.gz) и скопируйте ее в корневую папку
6. Вы можете открыть файл с помощью текстового редактора на ваш выбор и изменить приоритет документов, которые вы считаете. Вы можете использовать значение от 0,1 до 0,9, но имейте в виду, что только для действительно важных сайтов значение будет выше.
7. Следующее очень важно, чтобы все роботы поисковых систем знали, что у вас есть карта сайта. Создайте новый файл с именем

[Источник: Как создать Google Sitemap за 5 минут]