Значения Dask Dataframe

Question

Есть ли способ получить значения кадра данных dask без использования функции вычисления как pandas?

• Pandas: df.values
• Dask с использованием функции вычисления: ddf.compute().values

Dask с использованием функции вычисления медленно, и мне нужно преобразовать dask dataframe в формате json и для этого я должен получить значения.

Answer 1

Поскольку Dask подходит для больших наборов данных, выполнение вычислений на полном источнике данных не имеет смысла.

Я думаю, вам следует сгенерировать файл json путем итерации по разделам.

df.npartitions дает вам количество разделов.

Вы можете получить определенный c раздел (например, n ) с помощью df.get_partition(n).

Answer 2

Мне нужно преобразовать фрейм данных dask в формат json и

Возможно, вас заинтересует метод фреймов данных Dask .to_json

и для этого я должен получить значения.

Это не может быть правдой