получить / получить доступ к каждому фрагменту dask.dataframe (df, chunksize = 100)

Question

Я использовал приведенный ниже код для разделения кадра данных с помощью dask:

      result=dd.from_pandas(df, chunksize=75)

Я использую приведенный ниже код для создания пользовательского файла JSON:

     for z in result:
            createjson (z)

Это просто не сработало!как я могу получить доступ к каждому чанку?

Answer 1

Мы не знаем, что делает ваша createjson функция, но, возможно, она покрывается to_json().

В качестве альтернативы, если вы действительно хотите сделать что-то уникальное для каждого изваш раздел, и это не является уникальным для JSON, тогда вам понадобится метод map_partitions().

Answer 2

Может быть более естественный способ (кажется, что так и должно быть), но вы можете сделать:

for i in range(result.npartitions):
    partition = result.get_partition(i)
    # your code here