использование smart_open для большой базы данных, подключение для записи в s3 с python - PullRequest
1 голос
/ 02 апреля 2020

Я пытаюсь вывести очень большую таблицу из подключения базы данных к s3, используя smart_open

 cur = con.cursor().execute(sql_query)
ret = cur.fetchmany(3)
with open(s3_path, 'wb', transport_params=transport_params) as fout:
    while len(ret) > 0:
        lines=ret = cur.fetchmany(10000)
        for line in lines:
           fout.write(line)

1 Ответ

0 голосов
/ 06 апреля 2020

Похоже, что это работает, просто убедитесь, что вы преобразовали строку в str(line), разберетесь с () и также добавите символ новой строки, вы должны fout.write(bytes(row,'utf-8'))

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...