При попытке записать DF в CSV в S3 работает следующий код. Однако при открытии файла в S3 после запуска кода все еще есть столбец индекса. Код, который я использовал:
def write_to_csv():
bytes_to_write = df.to_csv(None).encode()
fs = s3fs.S3FileSystem()
with fs.open('s3://filepath', 'wb', index = False) as f:
f.write(bytes_to_write)
print ('Wrote Dataframe To CSV ...')
write_to_csv()