запросить таблицу athena и сохранить как csv - PullRequest
Новая
       5

запросить таблицу athena и сохранить как csv

0 голосов
/ 23 марта 2020

Я пытаюсь создать CSV-файл из таблицы Athena с помощью запроса. Ниже мой код, и я получаю ошибку. Пожалуйста, помогите мне.

Я получаю следующую ошибку: AttributeError: у объекта 'DataFrame' нет атрибута 'to_csv'

вот мой код, 

import boto3
import pandas as pd
import io
from io import StringIO
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from pyspark import SparkContext
from Util.glue_helper import exec_sql_query

glueContext = GlueContext(SparkContext.getOrCreate())
spark = glueContext.spark_session


def my_func(_table_name,_database):
    query_string = 'select * from '+_table_name+' '
    dataframe = exec_sql_query(query_string,database=_database)
    # Create buffer
    csv_buffer = StringIO()
    # Write dataframe to buffer
    dataframe.to_csv(csv_buffer,sep="|", header=True, index=False)
    dataframe.show()


if __name__ == "__main__":
    database_name = 'mytestdb'
    my_func('mytesttable', database_name)
...