БЕРТ, как запустить предварительно обученную модель в Windows Anaconda - PullRequest
Новая
       11

БЕРТ, как запустить предварительно обученную модель в Windows Anaconda

0 голосов
/ 24 сентября 2019

Я в настоящее время изучаю модель с этой страницы , и я не уверен, как запустить приведенный ниже код 

python run_classifier.py 
--task_name=cola 
--do_train=true 
--do_eval=true 
--do_predict=true 
--data_dir=./data/ 
--vocab_file=./cased_L-12_H-768_A-12/vocab.txt 
--bert_config_file=./cased_L-12_H-768_A-12/bert_config.json 
--init_checkpoint=./cased_L-12_H-768_A-12/bert_model.ckpt 
--max_seq_length=400 
--train_batch_size=8 
--learning_rate=2e-5 
--num_train_epochs=3.0 
--output_dir=./bert_output/ 
--do_lower_case=False

Я создал папку, в которую я скачал весь кодиз GitHub.У меня есть файл run_classifier.py в этой папке.

В этой же папке я создал папки

  • data и в нем 3 файла tsv, как указано в коде.
  • bert_output и он пуст
  • cased_L-12_H-768_A-12 и имеет распакованную версию модели.У него есть файлы bert_config.json и bert_model.ckpt и vocab.txt

, затем я перешел в командную строку anaconda и в указанную выше папку, используя команду cd и 

(C:\Users\nnn\AppData\Local\conda\conda\envs\tensorflowspyder) C:\Users\nnn\Documents\GitHub\bert>python run_classifier.py task_name=cola do_train=true do_eval=true do_predict=true data_dir=./data/ vocab_file=./cased_L-12_H-768_A-12/vocab.txt bert_config_file=./cased_L-12_H-768_A-12/bert_config.json init_checkpoint=./cased_L-12_H-768_A-12/bert_model.ckpt max_seq_length=400 train_batch_size=8 learning_rate=2e-5 num_train_epochs=3.0 output_dir=./bert_output/ do_lower_case=False
Traceback (most recent call last):
  File "C:\Users\nnn\AppData\Local\conda\conda\envs\tensorflowspyder\lib\site-packages\absl\flags\_flagvalues.py", line 527, in _assert_validators
    validator.verify(self)
  File "C:\Users\nnn\AppData\Local\conda\conda\envs\tensorflowspyder\lib\site-packages\absl\flags\_validators.py", line 81, in verify
    raise _exceptions.ValidationError(self.message)
absl.flags._exceptions.ValidationError: Flag --data_dir must be specified.

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "run_classifier.py", line 981, in <module>
    tf.app.run()
  File "C:\Users\nnn\AppData\Local\conda\conda\envs\tensorflowspyder\lib\site-packages\tensorflow\python\platform\app.py", line 119, in run
    argv = flags.FLAGS(_sys.argv if argv is None else argv, known_only=True)
  File "C:\Users\nnn\AppData\Local\conda\conda\envs\tensorflowspyder\lib\site-packages\tensorflow\python\platform\flags.py", line 112, in __call__
    return self.__dict__['__wrapped'].__call__(*args, **kwargs)
  File "C:\Users\nnn\AppData\Local\conda\conda\envs\tensorflowspyder\lib\site-packages\absl\flags\_flagvalues.py", line 635, in __call__
    self._assert_all_validators()
  File "C:\Users\nnn\AppData\Local\conda\conda\envs\tensorflowspyder\lib\site-packages\absl\flags\_flagvalues.py", line 509, in _assert_all_validators
    self._assert_validators(all_validators)
  File "C:\Users\nnn\AppData\Local\conda\conda\envs\tensorflowspyder\lib\site-packages\absl\flags\_flagvalues.py", line 530, in _assert_validators
    raise _exceptions.IllegalFlagValueError('%s: %s' % (message, str(e)))
absl.flags._exceptions.IllegalFlagValueError: flag --data_dir=None: Flag --data_dir must be specified.
  1. Как мне его запустить?
  2. можно ли выполнить из Spyder напрямую?

1 Ответ

0 голосов
/ 01 октября 2019

Вы просто пропускаете двойную черту (--) перед флагами: 

python run_classifier.py ^
--task_name=cola ^
--do_train=true ^
--do_eval=true ^
--do_predict=true ^
--data_dir=./data/ ^
--vocab_file=./cased_L-12_H-768_A-12/vocab.txt ^
--bert_config_file=./cased_L-12_H-768_A-12/bert_config.json ^
--init_checkpoint=./cased_L-12_H-768_A-12/bert_model.ckpt ^
--max_seq_length=400 ^
--train_batch_size=8 ^
--learning_rate=2e-5 ^
--num_train_epochs=3.0 ^
--output_dir=./bert_output/ ^
--do_lower_case=False

(символ ^ используется для обозначения продолжения строки в командной строке Windows и таким образом делаетотображение команды neater)

Должна быть возможность запустить ее в Spyder при условии, что вы передадите аргументы при выполнении скрипта run_classifier.py.

...