Ошибка данных токенизации при обучении набора данных с помощью глубокой речи

Question

Я создал речевой набор данных для обучения с DeepSpeech, следуя этому (https://medium.com/@klintcho/creating-an-open-speech-recognition-dataset-for-almost-any-language-c532fb2bc0cf) учебник.

Но я не смог натренировать свой набор данных с глубокой речью.

Itвыдает ошибку в результате команды поезда, например

python DeepSpeech.py --train_files /mnt/c/wsl/teneke_out_bolum1/

Выдает ошибку:

pandas.errors.ParserError: Ошибка токенизации данных. Ошибка C: вызов read (nbytes) в исходном коде не удалось. Попробуйте engine = 'python'.

Я создал набор данных после выравнивания силы Энея и тонкой настройки с помощью finetuneas:

Вот мой код, который я использовал в GoogleColab для обучения с DeepSpeech:

https://gist.github.com/mustafaxfe/d20be114ca7cea5c47ea5cc85653c761

Я нашел некоторые решения в Google, такие как

data = pd.read_csv('file1.csv', error_bad_lines=False)

Также как вывод ошибок, я могу решить с настройкой

engine = 'python'

Но я не мог понять, где мне следует измениться.

Итак, где я должен редактировать, чтобы исправить эту проблему.

Спасибо.

Answer 1

Ваша команда нуждается в пересмотре:

• Вы указываете на папку данных поезда. Вы должны указать на файл .csv
• Использовать Python3

Ваша команда запуска должна выглядеть следующим образом. Проверьте документацию и внесите необходимые изменения.

   python3 -u DeepSpeech.py \
    --train_files /data/phonetic_speech_dta/train/train.csv \
    --dev_files /data/phonetic_speech_dta/dev/dev.csv \
    --test_files /data/phonetic_speech_dta/test/test.csv \
    --train_batch_size 64 \
    --dev_batch_size 32 \
    --test_batch_size 64 \
    --n_hidden 800\
    --validation_step 1\
    --display_step 1 \
    --epoch 100 \
    --log_level 1 \
    --dropout_rate 0.2 \
    --learning_rate 0.001 \
    --drop_count_weight 3.5 \
    --export_dir /speech2text/norwegian_model/results/model_export/ \
    --checkpoint_dir /speech2text/norwegian_model/results/checkpoint/ \
    --decoder_library_path /home/nvidia/tensorflow/bazel-bin/native_client/libctc_decoder_with_kenlm.so \
    --alphabet_config_path /speech2text/norwegian_model/alphabet.txt \
    --lm_binary_path /speech2text/norwegian_model/lm.binary \
    --lm_trie_path /speech2text/norwegian_model/trie