Python beguinner: UnicodeDecodeError: как ее решить? - PullRequest
Новая
       72

Python beguinner: UnicodeDecodeError: как ее решить?

0 голосов
/ 20 апреля 2020

Я получаю эту ошибку с помощью скрипта запуска потока, доступного на GitHub преобразователя, но у меня есть проблема с обнаружением, как ее решить: 


04/20/2020 20:25:47 - WARNING - __main__ -   Process rank: -1, device: cuda, n_gpu: 1, distributed training: False, 16-bits training: True
Traceback (most recent call last):
  File "transformers/examples/run_flue.py", line 782, in <module>
    main()
  File "transformers/examples/run_flue.py", line 737, in main
    cache_dir=args.cache_dir if args.cache_dir else None,
  File "/home/geta/kelo/anaconda3/envs/env/lib/python3.6/site-packages/transformers/configuration_utils.py", line 188, in from_pretrained
    config_dict, kwargs = cls.get_config_dict(pretrained_model_name_or_path, **kwargs)
  File "/home/geta/kelo/anaconda3/envs/env/lib/python3.6/site-packages/transformers/configuration_utils.py", line 240, in get_config_dict
    config_dict = cls._dict_from_json_file(resolved_config_file)
  File "/home/ge/kelo/anaconda3/envs/env/lib/python3.6/site-packages/transformers/configuration_utils.py", line 329, in _dict_from_json_file
    text = reader.read()
  File "/home/ge/kelo/anaconda3/envs/env/lib/python3.6/codecs.py", line 321, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte

Полный скрипт доступен здесь: https://github.com/formiel/transformers/blob/flue/examples/run_flue.py

...