Я не могу сохранить свой Dataframe в облачном хранилище - PullRequest
Новая
       6

Я не могу сохранить свой Dataframe в облачном хранилище

0 голосов
/ 05 марта 2020 
def save_csv_to_cloud_storage(df,file_name,folder='output'):

    os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = '/Users/******/Desktop/*****.json'
    storage_client = storage.Client()
    bucket = storage_client.get_bucket('fluxlengow')
    now = datetime.now()
    dt_string = now.strftime("%Y%m%d-%H%M%S")
    f = StringIO()
    df.to_csv(f,sep=',')
    f.seek(0)
    Blob('{}/{}_{}_.csv'.format(folder, dt_string, file_name),bucket).upload_from_file(f,content_type='text/csv')


def lengowToStorage():

    liste = ['https://httpnas.****.*****/******/SUP****/*******_FR.csv','https://httpnas.****.*****/******/SUP****/*******_UK.csv','https://httpnas.****.*****/******/SUP****/*******_IT.csv']
    for i in liste :
        name = i.split('/')[-1]
        name = name.split('.')[0]
        CSV_URL = '{}'.format(i)
        with requests.Session() as s:
            download = s.get(CSV_URL)
            decoded_content = download.content.decode('utf8')
            cr = csv.reader(decoded_content.splitlines(), delimiter='|')
            my_list = list(cr)
            df_ = pd.DataFrame(my_list, columns=my_list[0]).drop(0)
            save_csv_to_cloud_storage(df_,file_name=name,folder='input')
            print("recuperation du fichier : {}".format(i))

lengowToStorage()

Привет, ребята, извините, но мне нужна ваша помощь, потому что я действительно застрял в этой проблеме кодирования. Я пытаюсь отправить свой фрейм данных в облачное хранилище в виде файла CSV. к сожалению, когда я пытаюсь сохранить его в хранилище, я получаю эту ошибку 

'latin-1' codec can't encode character '\u2019' in position 32318: Body ('’') is not valid Latin-1. Use body.encode('utf-8') if you want to send it encoded in UTF-8.

Затем я сделал кодировку "utf-8" для каждого столбца (не показано в коде), и сохранение в облачное хранилище работает но мои данные в этом формате: 

b'Antaeus Lotion Apr\xc3\xa8s Rasage 100ml'

Я декодирую UTF8, я кодирую UTF8 ... но не могу получить мои данные в нужную мне строковую версию ... 

'Antaeus Lotion Après Rasage 100ml'

Если бы вы могли помочь, я был бы очень рад

...