Dask выдает файл notfounderror при чтении csv / отлично работал в Pandas - PullRequest
Новая
       28

Dask выдает файл notfounderror при чтении csv / отлично работал в Pandas

0 голосов
/ 26 мая 2019

Я пытаюсь перенести некоторый код Pandas в Dask, и при чтении csv у меня возникает проблема - похоже, что Dask добавляет локальный рабочий каталог к ​​пути к файлу в операции чтения. Он отлично работает, когда я читаю с помощью панд.

Я использую Windows 10. Рабочий каталог находится на моем диске C; данные находятся на моем диске D.

Код Панды: 

import pandas as pd

file_path = 'D:/test_data/'
item = filename.csv
temp_df = pd.read_csv(file_path + item, usecols=['time', 'ticker_price'])

Вывод на печать (temp_df.head ()): 

                         time  ticker_price
0  2019-05-15 09:34:09.233373       0.02843
1  2019-05-15 09:34:11.334135       0.02843
2  2019-05-15 09:34:12.147282       0.02843
3  2019-05-15 09:34:13.705145       0.02843
4  2019-05-15 09:34:14.521257       0.02843
type = <class 'pandas.core.frame.DataFrame'>

Код Dask: 

import dask.dataframe as dd

file_path = 'D:/test_data/'
item = filename.csv
temp_dd = dd.read_csv(file_path + item, usecols=['time', 'ticker_price'])

Вывод print (temp_dd.head ()): 

FileNotFoundError: [Errno 2] No such file or directory: 'C:\\Users\\Dan\\PycharmProjects\\project1_folder/D:/test_data/filename.csv'

Похоже, что Dask добавляет file_path к моим данным на диске D к пути моего локального рабочего каталога (папка PycharmProjects), в то время как Pandas этого не делает. Есть ли какие-то решения для этого?

Несколько вещей, которые я пробовал, не работали:

(1) 

temp_file_path_str = pathlib.Path(file_path + item)
temp_dd = dd.read_csv(temp_file_path_str, usecols=['time', 'ticker_price'])

Это возвращает ту же ошибку: 

FileNotFoundError: [Errno 2] No such file or directory: 'C:\\Users\\Dan\\PycharmProjects\\project1_folder/D:\\test_data\\filename.csv'

(2) * * тысяча двадцать-семь 

temp_file_path_str = 'file://' + file_path + item
temp_dd = dd.read_csv(temp_file_path_str, usecols=['time', 'ticker_price'])

Возвращает ошибку, из-за которой Dask удалил идентификатор диска из пути: 

FileNotFoundError: [WinError 3] The system cannot find the path specified: '\\test_data\\filename.csv'

(3) 

temp_file_path_str = 'file://' + file_path + item
temp_file_path_str = pathlib.Path(temp_file_path_str)
temp_dd = dd.read_csv(temp_file_path_str, usecols=['time', 'ticker_price'])

Это, кажется, добавляет дополнительный \ перед идентификатором диска в пути: 

OSError: [WinError 123] The filename, directory name, or volume label syntax is incorrect: '\\D:\\test_data\\filename.csv'

Обновление 6/1/19 - Я создал проблему для этого: https://github.com/dask/dask/issues/4861

...