Как сохранить CSV или XLSX в корзину S3? - PullRequest
0 голосов
/ 20 февраля 2020

Несмотря на то, что в действительности используется для хранения данных в рамках блестящего сеанса, я упростил задачу, чтобы прояснить цель.

Не могли бы вы помочь мне понять, какие изменения необходимо внести, чтобы сохранить CSV / XLSX в корзину S3?

Актуально, но python сохранить файл CSV в корзину S3 из фрейма данных Pypark

library(tidyverse)
library(aws.s3)

# Authetication
aws.signature::use_credentials()
s3_bucket_link = # My s3 bucket link

  df = fread("mtcars.csv")

  #put object to s3
  aws.s3::put_object(object = "mtcars.csv",
                     file = "mtcars.csv",
                     bucket = s3_bucket_link)
  # Gives 403 or 404 error 
  # But when I check my S3 bucket file isnt available !!!

1 Ответ

0 голосов
/ 20 февраля 2020
library(tidyverse)
library(aws.s3)

# Authetication
aws.signature::use_credentials()
s3_bucket_link = # s3 bucket link
complete_path = # Complete S3 bucket path including folder within S3 bucket link

write.csv(mtcars,"mtcars.csv")

aws.s3::s3write_using(mtcars,
                      object = paste0(complete_path,"mtcars.csv"),
                      FUN = write.csv,
                      bucket = s3_bucket_link)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...