максимальный размер для XML-файлов

Question

Какое эмпирическое правило для максимального размера для XML-файлов.

Что если я задам максимальное количество записей, а одна запись имеет 10 значений, например? Другое условие - мы загружаем его из Интернета.

Answer 1

Мое правило таково: если слишком медленно делать то, что я хочу, тогда он слишком большой , и ваши данные, вероятно, необходимо переместить в другой формат ... базу данных или что-то подобное.

Обход XML-узлов или использование XPath может быть собакой.

Answer 2

Это может быть не то, что вы хотите услышать, но ... Если вы думаете о размере ваших файлов XML, скорее всего, вам следует использовать базу данных вместо файлов (даже если они не являются плоскими файлами, но структурирован как XML). Базы данных высоко оптимизированы для эффективного хранения огромных масс данных. Лучшие алгоритмы поиска данных находятся в кодовой базе баз данных.

Answer 3

Там нет ни одного. Однако существуют максимальные размеры файлов, которые зависят от используемой файловой системы.

Answer 4

Существует без ограничений для XML-файла размер , но для него требуется память (RAM) как размер файла XML-файла , поэтому длинный XML-файл размер анализа снижение производительности .
Рекомендуется длинный XML-размер , используя SAX для .NET для анализа длинных XML-документов.

Answer 5

Я работал над проектом в 2010 году, когда мне пришлось переместить веб-сайт газеты с Typo 3 на Drupal 7, и самым быстрым способом было экспортировать весь контент в формате xml, а затем проанализировать его в drupal (Xpath). , Мы попытались сделать это за один раз, но у нас были проблемы с 4Gigs. Таким образом, мы разделили xmls в год, и у каждого файла было меньше времени для анализа и размера файла в мегабайтах, и это прошло нормально. Другие чтения предполагают, что максимальный файл может зависеть от вашего оперативной памяти.

Answer 6

Несмотря на то, что не все парсеры считывают весь файл в память, если вам действительно нужно эмпирическое правило, я бы сказал, что не больше половины доступного оперативного памяти. Все, что больше, вероятно, будет слишком медленным:)

Answer 7

Я думаю, что это зависит от контекста, откуда берется / генерируется файл, что вы собираетесь с ним делать, пропускной способности любого соединения, через которое он должен проходить, размера оперативной памяти и т. Д.?

каков ваш контекст?

Answer 8

Я не думаю, что у вас должно быть практическое правило для максимального размера данных, будь то XML или что-то еще. Если вам нужно хранить несколько гигабайт данных, то вы сохраняете эти данные. Разница заключается в том, какой API вы используете для обработки этих данных. Тем не менее, XML может быть не лучшим выбором, если ваш набор данных очень большой. В этих случаях реляционная база данных или база данных XML, вероятно, будут работать лучше, чем отдельный файл XML.