Самый эффективный способ поддерживать большой часто обновляемый XML-фид

Question

Мне нужно сгенерировать довольно большие XML-каналы, которые обновляются очень часто (сотни тысяч элементов, сотни мегабайт на канал, десятки каналов); сейчас я могу генерировать их только по ночам, но я бы хотел приблизить их к реальному времени.

Сейчас я думаю, что мог бы сгенерировать каждый элемент XML в виде отдельного текстового файла, поэтому, когда обновляется любой элемент, я могу обновить только этот файл, а затем объединить все файлы вместе для окончательного конечного XML-канала .

Итак, два вопроса ... (1) Кажется ли это хорошим подходом? (2) Как наиболее эффективно объединить тысячи текстовых файлов?

Answer 1

Мне кажется, что это достойный подход с учетом требований. Вы можете добавлять новые элементы в верхней или нижней части канала по мере их поступления? Если это так, возможно, вы могли бы сохранить самую последнюю ленту новостей, а затем просто добавлять к ней новые элементы по мере их поступления.

Способ согласования файлов зависит от того, какие инструменты вы планируете использовать. Это сборка в пакетных файлах или язык программирования?