напиши pandas паркет, разбитый на s3 - PullRequest
1 голос
/ 01 февраля 2020

Как записать паркет, разбитый по столбцам в s3? Я пытаюсь:

def write_df_into_s3(df, bucket_name, filepath, format="parquet"):
    buffer = None
    hook = S3Hook()

    if format == "parquet":
        buffer = BytesIO()
        df.to_parquet(buffer, index=False, partition_cols=['date'])
    else:
        raise Exception("Format not implemented!")

    hook.load_bytes(buffer.getvalue(), filepath, bucket_name)

    return f"s3://{bucket_name}/{filepath}"

Но я получил ошибку 'NoneType' object has no attribute '_isfilestore'.

...