Я хочу создать простую поисковую систему для целей обучения.
Я хочу знать , как проиндексировать простой сайт блога .
Сайт блога имеет много страниц, и на каждой странице есть пост блога.
Но на каждой странице есть и другие общие черты (верхний колонтитул, нижний колонтитул, блок категорий и прочее).
По вашему мнению, Как мне проиндексировать этот блог?
Язык программы не имеет значения, очевидно.