Установленный путь к CSV-файлу возвращает каталог, os isfile check возвращает False - PullRequest
Новая
       8

Установленный путь к CSV-файлу возвращает каталог, os isfile check возвращает False

2 голосов
/ 30 января 2020

При попытке перейти в Databricks к комбинации папок / файлов specfi c с использованием os, 2 идентичных CSV-файла случайным образом распознаются как file или directory. При проверке с помощью os.path.isfile() возвращается следующее:

enter image description here

До сих пор я пытался перезагрузить данные, проверяя, не было ли проблем с специфицирует c csv и, похоже, не может найти шаблон, с каким файлом эта ошибка возникнет. Я попробовал следующие советы, перечисленные здесь , но кажется, что ошибка указана в Databricks c.

1 Ответ

1 голос
/ 30 января 2020

Одним из решений, которое я нашел, было чтение данных с использованием spark: 

  df = sqlContext.read.format('com.databricks.spark.csv') \
          .options(header='true', inferSchema='true', sep=';')\
          .load("/mnt/.../.../.../data_2.csv").toPandas()

Это будет считывать данные из штрафа csv - но проверка с помощью os.path.isfile() по-прежнему не распознает файл как файл.

...