Чтобы сэкономить место на моем ноутбуке, я сохранил довольно большой набор данных в виде паркетных файлов через dask. И было интересно, есть ли способ читать в файлах паркета построчно.
Спасибо за помощь.
Вы можете использовать ParquetFile.iter_row_groups из библиотеки fastparquet для перебора строк файла паркета.
ParquetFile.iter_row_groups