Могу ли я создать универсальную функцию для очистки списков событий?

Question

Я работаю над проектом, в котором я хочу отобразить большой список событий, но для этого мне нужно получить данные о событиях с нескольких сайтов.У некоторых из них есть календари, у некоторых есть простые списки HTML;в основном, каждый сайт предлагает данные по-разному.

Должен ли я обрабатывать каждый сайт отдельно или есть универсальная функция, которую я мог бы создать, которая бы сохраняла данные с каждого сайта?

Спасибо!

Answer 1

Я бы порекомендовал вам Нокогири , чтобы почистить данные из ваших источников.Вам нужно будет указать теги HTML, из которых вы хотите получить информацию, Nokogiri проанализирует HTML и предоставит селекторы, которые позволяют перемещаться по проанализированному DOM.

Вы можете использовать что-то вроде Portia если вы хотите очистить данные, но вам нужно оценить, является ли это правильным инструментом на основе веб-сайтов, которые вы хотите очистить.