Когда лучше использовать файлы npz вместо csv?

Question

Я смотрю на некоторый код машинного обучения / прогнозирования с использованием Keras, и наборы входных данных хранятся в файлах npz вместо обычного формата csv.

Почему авторы используют этот формат вместо CSV?Какие у него преимущества?

Answer 1

Зависит от ожидаемого использования. Если ожидается, что файл будет иметь широкие возможности использования, включая прямой доступ с обычных клиентских компьютеров, то csv подойдет, потому что его можно напрямую загружать в широко распространенные приложения Excel или LibreOffice calc. Но это просто старый добрый текстовый файл без индексов и дополнительных функций.

С другой стороны, если файл предназначен для использования только учеными-данными или, вообще говоря, осведомленными пользователями, тогда npz будет гораздо лучшим выбором из-за дополнительных функций (сжатие, отложенная загрузка и т. Д.)

Короче говоря, вы обмениваете большую аудиторию на более высокие функции.

Answer 2

С https://kite.com/python/docs/numpy.lib.npyio.NpzFile

Словарь-подобный объект с отложенной загрузкой файлов в заархивированном архиве, предоставленном при создании.

Таким образом, это сжатый архив (меньшего размера, чем CSV на диске, можно сохранить более одного файла), и файлы могут быть загружены с диска только при необходимости (в CSV, когда вам нужен только 1 столбец, вы по-прежнему нужно разобрать весь файл, чтобы разобрать его).

=> преимущества: производительность и больше возможностей