Удаление ненужных частей веб-страницы

Question

Существует ли API или систематический способ удаления ненужных частей веб-страницы при ее очистке с помощью Python? Например, возьмите именно эту страницу - единственная важная часть - это вопрос и ответы, а не столбец боковой панели, заголовок и т. Д. Можно догадываться о подобных вещах, но есть ли разумный способ сделать это?

Answer 1

Существует подход из букмарклета Readability , по крайней мере с двумя доступными реализациями Python:

• decruft
• читабельность на питоне

Answer 2

В общем, нет.В определенных случаях, если вы знаете что-то о структуре сайта, который вы просматриваете, вы можете использовать инструмент, такой как Beautiful Soup , для управления DOM.

Answer 3

Один из подходов состоит в сравнении структуры нескольких веб-страниц, которые используют один и тот же шаблон.В этом случае вы бы сравнили несколько вопросов SO.Затем вы можете определить, какой контент является статическим (бесполезным) или динамическим (полезным).

Это поле известно как индуктор оболочки .К сожалению, это сложнее, чем кажется!

Answer 4

Этот проект git hub решает вашу проблему, но на Java.Может быть стоит посмотреть: гусь