Что именно означает target_vocab_size в методе tfds.features.text.SubwordTextEncoder.build_from_corpus? - PullRequest
0 голосов
/ 25 мая 2019

Согласно этой ссылке , target_vocab_size: int, приблизительный размер словаря для создания. Это утверждение довольно двусмысленно для меня.Насколько я понимаю, кодировщик сопоставит каждый словарь с уникальным идентификатором.Что произойдет, если корпус имеет vocab_size больше, чем target_vocab_size?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...