Почему код Python не открывает все текстовые файлы в папке?

Question

Я написал код, который открывает все текстовые файлы в папке, удаляет определенные слова и затем записывает содержимое в новый текстовый файл.Файлы, с которыми я работаю, были созданы на компьютере с Windows, сохранены в UTF-8, а затем загружены на Mac (проблематично).Код работает для 66 из 250 файлов, а затем ломается.Я получаю следующую ошибку:

UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-51-7c4734f2a95f> in <module>
      1 for file in os.listdir(path):
      2         with open(file, 'r', encoding='utf-8') as f:
----> 3             flines = f.readlines()
      4             new_content = []
      5             for line in flines:

~/anaconda/lib/python3.7/codecs.py in decode(self, input, final)
    320         # decode input (taking the buffer into account)
    321         data = self.buffer + input
--> 322         (result, consumed) = self._buffer_decode(data, self.errors, final)
    323         # keep undecoded input until the next call
    324         self.buffer = data[consumed:]

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x92 in position 287: invalid start byte

Я проверил кодировку файлов для нескольких файлов, которые не конвертируются в терминале, используя файл -I {имя_файла}, и он говорит: charset =UTF-8.Однако я думаю, что проблема должна быть в кодировке.

Я пытался сделать 'encoding =' ascii '' и использовать 'rb' вместо 'r', но безуспешно.Я думаю, что это могло бы помочь мне, но я не могу понять, как включить это в мой код https://www.programiz.com/python-programming/methods/string/encode.

Любая помощь будет очень признательна.

for file in os.listdir(path):       
        with open(file, 'r', encoding='utf-8') as f:
            flines = f.readlines()
            new_content = []
            for line in flines: 
                content = line.split()

            new_content_line = []
            new_content_line2 = []

            fillers = ['um', 'uum', 'umm', 'er', 'eer', 'uh', 'ah', 'ahh', 'hm', 'hmm', 'mm', 'Um', 'Uum', 'Umm', 'Er', 'Eer', 'Uh', 'Ah', 'Ahh', 'Hm', 'Hmm', 'Mm']

            for word in content:
                if not word.startswith('[=')and not word.startswith('#') and not word.startswith('..') and not word.endswith(']') and not word.endswith('='):
                    new_content_line.append(word)

            for word in new_content_line:
                if word not in fillers:
                    new_content_line2.append(word)

            new_content_line2 = [x.lower() for x in new_content_line2]
            for v, w in zip(new_content_line2[:-1],new_content_line2[1:]):
                if v == w:
                    new_content_line2.remove(v)

            new_content.append(' '.join(new_content_line2))

        f2 = open((file.rsplit( ".", 1 )[ 0 ] ) + "_processed.txt", "w", encoding = 'utf-8')
        f2.write('\n'.join(new_content))
        f.close
        f2.close