Я думаю, что сброс данных в файл (сжатый) просто записывает данные в файл, но заголовки записываются только в close(), поэтому вам нужно сначала закрыть файл, и только после того, как вы сможете открыть его и прочитать все данные, которые вы необходимость. Если вам нужно написать большое количество данных, вы можете попробовать использовать базу данных, например PostgreSQL или MySQL , где вы можете указать таблицу со сжатием (архив, сжатый), и вы сможете чтобы вставить данные в таблицу и прочитать их, программное обеспечение базы данных сделает все остальное за вас (сжатие, распаковка на вставках, выборка).