Torchtext хранит токены в том же порядке

Question

У меня есть нейронная сеть seq2seq, которую я использую для перевода текста. Мне нужно, чтобы предложения оставались неизменными во время партий, точнее, предложение должно быть как неразделимый блок токенов. Однако, похоже, что итераторы, предоставляемые Torchtext (BucketIterator и Iterator), не сохраняют начальный порядок токенов. Есть ли решение для этого, кроме написания моих собственных функций заполнения и пакетирования?

Answer 1

И Iterator, и BucketIterator должны сохранять порядок токенов и только перетасовывать предложения в наборе данных.

Скорее всего, ваши входные тензоры имеют неправильную форму. Фигуры по умолчанию в TorchText: length × batch_size × features. Если у вас первая партия, а вторая - вторая, ваши предложения перетасовываются.