«Вставить фрейм данных SparkSession» не существует - студия IBM Watson - PullRequest
0 голосов
/ 08 мая 2020

Я слежу за этим онлайн-курсом от IBM: Расширенный курс машинного обучения .

Я хотел бы загрузить файл .csv, а затем сохранить его в формате parquet в моем облачном хранилище объектов в моем проекте Watson (здесь вы можете узнать, как получить доступ к хранилищу Object Storage Watson ).

Преподаватель курса использует следующий метод: добавить файлы в хранилище объектов .

В основном в документации показано, как автоматически получить учетные данные и URL-адрес Object Cloud с помощью опции Insert SparkSession Dataframe.

Я не могу найти эту опцию на все, я пробовал почти все, но нажатие на мой импортированный .csv (как предлагается в документации) дает мне только вариант pandas Dataframe.

Что я делаю не так? Я внимательно следил за каждым шагом, я пробовал почти все возможные доступные среды (Free CPU Python 3.6, Apache Spark Python 3.6 e cc ...) безуспешно, опция не отображается вообще .

1 Ответ

0 голосов
/ 08 мая 2020

Я решил проблему.

Вам необходимо создать новую среду и добавить к ней Spark.

Затем, как только вы создадите свой блокнот, выберите эту среду, загрузите фиктивный файл .json, и вы сможете выберите Insert SparkSession Dataframe.

...