Это помогло мне:
c_df.to_csv('_df.csv', index=False) # Preserves the header if present
И затем загрузка по отдельности в s3 с помощью boto3:
s3 = boto3.resource('s3')
s3.meta.client.upload_file(closed_aoi_filename, s3_bucket, os.path.join(key, closed_aoi_filename))
Я пробовал прямые решения для загрузки pandas df в s3, но не увенчался успехом.Если у кого-то есть лучшие ответы, пожалуйста, дайте мне знать.Пока это работает.