Я получаю строки ex. «сто двадцать три», или «девятьсот девяносто девять», и закодировать его в последовательность токенов слов длиной 4, используя токенизер предварительной обработки текста Keras и используя его в качестве входных данных с 4 узлами, и имея множество целочисленных классов в качестве моего выход напр. 0 1 2 ... 1000 с 1001 выходным узлом с бэкэндом тензорного потока.
Я использую встраиваемый входной слой, затем выравнивающий слой, а затем плотный выходной слой с активацией softmax, чтобы классифицировать входную последовательность по числу.
Этот подход хорошо работает для чисел от 0 до 1000 и т. Д., Но масштабирование до 100 000 чисел с помощью таких строк, как «восемьдесят семь тысяч четыреста двадцать три», оказывается проблемой с очень длительным временем обучения, поскольку имеется 100 000 выходных нейронов.
Есть ли лучший способ структурировать NN для, возможно, миллионов чисел без ущерба для эффективности?