Я запускаю экспорт из приложения, которое у нас есть, и оно выгружает файлы CSV в S3 по месяцам. Тот же процесс удаляет все файлы одновременно, и ничто не отличается от удаления файлов. Мой пользователь IAM имеет полный доступ к S3. Я получаю FileNotFoundError: /mybucket/funnel-ad/raw/data/funnel_data_2020_04 и Отказано в доступе во время обработки вышеуказанного исключения. Файл действительно существует, и я проверил вручную в s3, плюс я генерирую список файлов, вытягивая из s3. Вот мой код
session = Session(aws_access_key_id=AK,
aws_secret_access_key=SAK)
s3 = session.resource('s3')
bucket = s3.Bucket('mybucket')
for file in bucket.objects.filter(Prefix='funnel-ad/raw/data'):
if 'funnel_data' in file.key:
readpath = 's3://mybucket/'+str(file.key)
df = pd.read_csv(readpath,engine='python', error_bad_lines=False)
df = df.reindex(sorted(df.columns), axis=1)
dct = df.to_dict(orient = 'records')