У меня есть список файлов в s3. Я беру поток из файлов и динамически определяю кодировку
det = obj.get()['Body'].read(1024)
encoding = chardet.detect(det).get('encoding')
print(encoding)
Я написал следующий код для чтения файла со следующей кодировкой:
reader = UnicodeReader(obj.get()['Body'], dialect=dialect,encoding=encoding)
При открытии файлов, я в состоянии открыть все файлы, но открываются некоторые файлы ascii, некоторые файлы ascii выдают эту ошибку:
'ascii' codec can't decode byte 0xe2 in position 0: ordinal not in range(128
И некоторые файлы ascii выдают эту ошибку:
'ascii' codec can't decode byte 0x92 in position 0: ordinal not in range(128)
Почему это случилось? что я могу сделать, чтобы обработать все файлы