Есть ли максимальный размер жесткого файла для файла .csv?

Question

Каким-то образом одна из наших партий завершилась вчера вечером, размер файла, который был бы сгенерирован, составляет 500 МБ, а в нем около 500 000 записей (строк).

Просто интересно, есть ли какое-нибудь жесткое ограничение на размер файла .csv?

Я понимаю, что приложение Excel имеет жесткий предел в 60 КБ, но это открытие.

Answer 1

В зависимости от того, как вы обрабатываете CSV-файл, вы можете столкнуться с узкими местами памяти и / или ЦП с большими файлами.

Кроме того, в 32-битных системах Linux существует ограничение размера файла в 2 ГБ, которое ограничит ваш максимальный используемый размер CSV независимо от мощности вашего процессора и памяти.При этом большие CSV-файлы являются хорошим признаком того, что вам следует подумать о более эффективном и надежном решении для обработки ваших данных, таком как система баз данных.

Answer 2

Максимальный размер любого файла в файловой системе определяется самой файловой системой, а не типом файла или суффиксом имени файла.Таким образом, ответ - нет.

Но, как вы сказали, приложение, которое вы используете для обработки файла, может иметь ограничения.