Как я могу проверить все ссылки на странице в качестве тестера черного ящика

Question

Я пытаюсь проверить , если все мои ссылки на страницы действительны , а также что-то похожее на меня , если все страницы имеют указанную ссылку , как контакт . Я использую тестирование Python и IDE селен для записи действий, которые должны быть проверены. Итак, мой вопрос: могу ли я проверить ссылки в цикле, или мне нужно попробовать каждую ссылку самостоятельно? я пытался сделать это с __iter__, но это не приблизилось, может быть причина, по которой я плохо справляюсь, но я все еще думаю, что должен быть другой способ тестирования ссылок, кроме щелчка по ним и записи одного одним.

Answer 1

Хотя инструмент на Perl, вы проверили linklint ?Это инструмент, который должен точно соответствовать вашим потребностям.Он проанализирует ссылки в HTML-документе и сообщит вам, когда они не работают.

Если вы пытаетесь автоматизировать это с помощью скрипта Python, вам нужно запустить его как подпроцесс и получить результаты, но я думаю, что это даст вам то, что вы ищете.

Answer 2

Я бы просто использовал стандартные команды оболочки для этого:

• Вы можете использовать wget для обнаружения сломанных ссылки
• Если вы используете wget для загрузки страниц, вы можете затем просмотрите полученные файлы с помощью grep --files-without-match, чтобы найти те у которого нет контактной ссылки.

Если вы работаете в Windows, вы можете установить cygwin или установить win32 порты этих инструментов.

РЕДАКТИРОВАТЬ: Вставить информацию по ссылке use wget to detect broken links выше:

Когда мы выпускаем публичный сайт, всегда хорошая идея запустить паук на нем, таким образом, мы можем проверить на битые страницы и плохие URL. WGET имеет команду рекурсивной загрузки и смешана с опцией --spider он будет просто сканировать сайт.

1) Download WGET

    Mac:
    http://www.statusq.org/archives/2008/07/30/1954/
    Or use macports and download wget.

    Windows:
    http://gnuwin32.sourceforge.net/packages/wget.htm

    Linux:
    Comes built in
    ----------------------------------------

2) In your console / terminal, run (without the $):

    $ wget --spider -r -o log.txt http://yourdomain.com

3) After that just locate you "log.txt" file and at the very bottom
 of the file will be a list of broken links, how many links there 
are, etc.

Answer 3

Вы можете (как еще один вариант) использовать BeautifulSoup для анализа ссылок на вашей странице и попытаться получить их через urllib2.

Answer 4

Что такое «Тестирование ссылок»?

Если это означает, что они приводят к URI, отличным от 4xx, я боюсь, что Вы должны посетить их.как "Контакт"), Вы можете искать их, используя xpath.