У меня есть многообъектный цикл, подобный этому: a1 = A('path1') # Class from external...

Мое приложение требует, чтобы я запускал задачи из других задач, например: def a(): # ... some...

У меня есть 2000 паркетных файлов в каталоге.Размер каждого файла паркета составляет около 20 МБ

Из документации Number of allowed automatic retries if computing a result fails. Относится ли...

Я пытаюсь прочитать большой (не умещающийся в памяти) набор данных паркета, а затем образец из него

Я работаю с данными временного ряда, которые отформатированы, поскольку каждая строка представляет...

Как добавить новый DataArray к существующему Dataset, не перезаписывая все это?Новый DataArray...

Попытка отправить задачу работнику и вернуть результаты.Однако необходимо выполнить сборку мусора...

Ошибка получения ... MemoryError: невозможно выделить массив с формой (15145488917,) и типом данных...

В настоящее время я работаю над рефакторингом некоторой устаревшей аналитики в Python / DASK, чтобы...

Я испытываю странное поведение при попытке использовать dask-xgboost.Я на машине с Windows 10 и...

У меня есть код панды, где я делаю следующее для горячего кодирования: from sklearn.preprocessing...

У меня проблемы с изменением временного каталога в Dask.Когда я почему-то меняю временный каталог в...

Мне нужно рассчитать статистику по сегментам больших (15 - 20 ГБ) файлов CSV.Это я делаю с...

У меня есть функция для чтения больших csv-файлов с использованием dask dataframe, а затем...

Мне нужно прочитать несколько файлов json.gz, используя Dask.Я пытаюсь добиться этого с помощью...

Я пытаюсь загрузить файл из хранилища Google и проанализировать его.Существуют миллионы таких...

У меня есть большие файлы размером более 5 ГБ.Я сохранил их в формате паркета.Когда я выполняю...

Вот что я пытаюсь: import pyarrow as pa conf = {"hadoop.security.authentication":...

У меня есть простой скрипт Dask-YARN, который выполняет только одну задачу: загрузите файл из HDFS,...

Я просто хочу сохранить файл CSV, используя dask. Я получил поле данных, размер которого превышает...

Я добавил пользовательский обратный вызов с помощью функции client.register_worker_callback (),...

Я запускаю процесс Python на Dask на моем Mac, используя dask_dataframe.map_partitions.Процессор...

Я пытаюсь запустить задание Dask в кластере YARN.Это задание для чтения и записи в HDFS с...

У нас есть задания, которые взаимодействуют с нативным кодом, и во время обработки задания...