Дамп словаря в виде файла json в облачное хранилище Google из Jupyter Notebook на Data Proc

Question

Я использую искру в кластере данных Google c. Я создал словарь в записной книжке Jupyter, который хочу сбросить в свою корзину GCS. Однако кажется, что обычный способ сброса в json с помощью fopen () не работает в случае gcp. Итак, как мне записать свой словарь как файл. json в GCS. Или, есть ли другой способ получить словарь?

Забавно, я мог бы без проблем записать фрейм данных искры в gcs, но, видимо, я не могу загрузить JSON на gcs, если он у меня не включен моя локальная система! Пожалуйста помоги! Спасибо.

Answer 1

Файл в GCS не находится в вашей локальной файловой системе, поэтому вы не можете вызвать для него "fopen". Вы можете сохранить в GCS напрямую с помощью клиента GCS (например, в этом руководстве ) или рассматривать местоположение GCS как место назначения HDFS (например, saveAsTextFile ("gs: // ..." )