Может ли BucketIterator torchtext заполнять все партии одинаковой длины?

Question

Я недавно начал использовать torchtext для замены моего связующего кода, и я столкнулся с проблемой, где я хотел бы использовать слой внимания в моей архитектуре.Для этого мне нужно знать максимальную длину последовательности моих тренировочных данных.

Проблема в том, что torchtext.data.BucketIterator выполняет заполнение для каждой партии:

# All 4 examples in the batch will be padded to maxlen in the batch
train_iter = torchtext.data.BucketIterator(dataset=train, batch_size=4)

Есть ли какой-нибудь способ обеспечить добавление всех обучающих примеров кодинаковая длина;то есть макслен в тренировках?

Answer 1

При создании экземпляра torchtext.data.Field есть необязательный аргумент ключевого слова с именем fix_length, который, когда установлен, определяет длину, к которой будут добавлены все выборки;по умолчанию он не установлен, что подразумевает гибкое заполнение.