Сравнение tf.keras.preprocessing.text.Tokenizer () и tfds.features.text.Tokenizer () - PullRequest
Новая
       118

Сравнение tf.keras.preprocessing.text.Tokenizer () и tfds.features.text.Tokenizer ()

1 голос
/ 07 мая 2020

В качестве некоторой предыстории, в последнее время я все больше и больше смотрю на НЛП и обработку текста. Я гораздо больше знаком с компьютерным зрением. Я полностью понимаю идею токенизации.

Моя путаница возникает из-за различных реализаций класса Tokenizer, которые можно найти в экосистеме Tensorflow.

Существует a Tokenizer класс, найденный в Tensorflow Datasets (tfds), а также один найденный в Tensorflow собственно: tfds.features.text.Tokenizer() и tf.keras.preprocessing.text.Tokenizer() соответственно.

Я просмотрел исходный код (ссылка ниже), но не смог почерпнуть какие-либо полезные сведения

Вопрос tl; dr здесь: Какой библиотеку вы используете для чего? И каковы преимущества одной библиотеки по сравнению с другой? Практическая специализация , а также этот учебник . Специализация TF in Practice использует реализацию tf.Keras.preprocessing.text.Tokenizer(), а в учебнике по загрузке текста используется tfds.features.text.Tokenizer()

1 Ответ

1 голос
/ 18 мая 2020

Есть много пакетов, которые начали предоставлять свои собственные API-интерфейсы для предварительной обработки текста, однако каждый из них имеет свои тонкие различия.

tf.keras.preprocessing.text.Tokenizer() реализовано Keras и поддерживается Tensorflow как API высокого уровня.

tfds.features.text.Tokenizer() разрабатывается и поддерживается самим тензорным потоком.

Оба имеют свой собственный способ кодирования токенов. Что вы можете понять на примере ниже. 

import tensorflow as tf
from tensorflow.keras.preprocessing.text import Tokenizer
import tensorflow_datasets as tfds

Давайте возьмем несколько примеров данных и посмотрим закодированный вывод для обоих API: 

text_data = ["4. Kurt Betschart - Bruno Risi ( Switzerland ) 22",
            "Israel approves Arafat 's flight to West Bank .",
            "Moreau takes bronze medal as faster losing semifinalist .",
            "W D L G / F G / A P",
            "-- Helsinki newsroom +358 - 0 - 680 50 248",
            "M'bishi Gas sets terms on 7-year straight ."]

Сначала давайте результат для tf.keras.Tokenizer(): 

tf_keras_tokenizer = Tokenizer()
tf_keras_tokenizer.fit_on_texts(text_data)
tf_keras_encoded = tf_keras_tokenizer.texts_to_sequences(text_data)
tf_keras_encoded = pad_sequences(tf_keras_encoded, padding="post")

Для первого предложения наших входных данных результат будет: 

tf_keras_encoded[0]

array ([2, 3, 4, 5, 6, 7, 8, 0], dtype = int32)

Если мы посмотрим на отображение слова в индекс. 

tf_keras_tokenizer.index_word  


{1: 'g',
 2: '4',
 3: 'kurt',
 4: 'betschart',
 5: 'bruno',
 6: 'risi',
 7: 'switzerland',
 8: '22',
 9: 'israel',
 10: 'approves',
 11: 'arafat',
 12: "'s",
 13: 'flight',
 14: 'to',
 15: 'west',
 16: 'bank',
 17: 'moreau',
 18: 'takes',
 19: 'bronze',
 20: 'medal',
 21: 'as',
 22: 'faster',
 23: 'losing',
 24: 'semifinalist',
 25: 'w',
 26: 'd',
 27: 'l',
 28: 'f',
 29: 'a',
 30: 'p',
 31: 'helsinki',
 32: 'newsroom',
 33: '358',
 34: '0',
 35: '680',
 36: '50',
 37: '248',
 38: "m'bishi",
 39: 'gas',
 40: 'sets',
 41: 'terms',
 42: 'on',
 43: '7',
 44: 'year',
 45: 'straight'}

Теперь попробуем tfds.features.text.Tokenizer(): 

text_vocabulary_set = set()
for text in text_data:
    text_tokens = tfds_tokenizer.tokenize(text)
    text_vocabulary_set.update(text_tokens) 

tfds_text_encoder = tfds.features.text.TokenTextEncoder(text_vocabulary_set, tokenizer=tfds_tokenizer)

Для первого предложения в наших входных данных результат будет: 

tfds_text_encoder.encode(text_data[0])

[35, 19, 44, 38, 32, 2, 14]

Если мы посмотрим на отображение слова в индекс (обратите внимание, что здесь индекс начинается с 0). 

tfds_text_encoder._token_to_id  

{'0': 0,
 '22': 13,
 '248': 17,
 '358': 23,
 '4': 34,
 '50': 9,
 '680': 6,
 '7': 26,
 'A': 19,
 'Arafat': 39,
 'Bank': 35,
 'Betschart': 43,
 'Bruno': 37,
 'D': 15,
 'F': 20,
 'G': 28,
 'Gas': 29,
 'Helsinki': 38,
 'Israel': 3,
 'Kurt': 18,
 'L': 44,
 'M': 5,
 'Moreau': 22,
 'P': 10,
 'Risi': 31,
 'Switzerland': 1,
 'W': 30,
 'West': 33,
 'approves': 4,
 'as': 7,
 'bishi': 2,
 'bronze': 12,
 'faster': 8,
 'flight': 27,
 'losing': 42,
 'medal': 32,
 'newsroom': 11,
 'on': 25,
 's': 24,
 'semifinalist': 40,
 'sets': 36,
 'straight': 45,
 'takes': 41,
 'terms': 16,
 'to': 14,
 'year': 21}

Вы можете видеть, что разница в кодировке обоих результатов, а также то, что оба API предоставляют некоторые гиперпараметры, которые можно использовать и изменять в зависимости от требований.

...