Как запустить Neural Machine Translation с вниманием в Google Colab с другим парным языком?

Question

Я хочу использовать другую языковую пару в примере, представленном на веб-сайте TernsorFlow, блокнот Google Colab выбирает только испанский-английский https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/r2/tutorials/text/nmt_with_attention.ipynb

Я попытался изменить ссылку на данные esp-engэто загрузка с него, но это не помогло

Как я могу попробовать другой набор языков, без локальной настройки colab, в конце на этой странице упоминалось, что я могу попробовать другой языкустановлен.

Answer 1

Последнее замечание об использовании другого набора данных относится к этому веб-сайту , который включает файлы с разделителями табуляции.

Вам в основном необходимо изменить значения в этой ячейке в соответствии со ссылкой нанужный вам zip-файл.

# Download the file
path_to_zip = tf.keras.utils.get_file(
    'spa-eng.zip', origin='http://storage.googleapis.com/download.tensorflow.org/data/spa-eng.zip',
    extract=True)

path_to_file = os.path.dirname(path_to_zip)+"/spa-eng/spa.txt"

Вы можете попробовать другие наборы данных из:

• OPUS
• WMT

Однако в этих корпусах источник и цель находятся в двух отдельных файлах, поэтому вам нужно настроить код, извлекающий пары, вместо split('\t') он должен открыть два файла и получить источники цель строка за строкой.