Поддерживает ли Dask Distributed или dask_cudf пакетный поток Apache Arrow Flight для ввода-вывода? - PullRequest
0 голосов
/ 27 сентября 2019

Я делюсь своими данными в формате стрелки в виде стрелки в виде потока;и нужно использовать его из dask_cudf в графическом процессоре.

То, что я пробовал - читать поток стрелок в виде таблицы.- Создать cudf - передать его dask_cudf.

Это работает для небольших данных, но чтение полного потока в виде таблицы с одной стрелкой в ​​cudf может вызвать ошибку нехватки памяти.

Есть ли лучший способиз коробки в распределенном dask или в dask_cudf для чтения / записи в Arrow Flight Buffer?

...