np.array MemoryError с tf.data.Dataset.from_generator

Question

Я пытаюсь запустить эту пользовательскую модель Transformer с моими данными сжатия текста (Gigaword) https://github.com/Kyubyong/transformer.

Я запустил этот код с tensorflow-gpu 1.13.1 / cuDNN 7.4.1 / cuda 10.0 на ubuntu 16.04.

но продолжайте сталкиваться с ошибкой как с ошибкой.

Я успешно запустил код на моем MacOSX с tenorflow-cpu, однако, когда я пытаюсь обработать данные на моем gpu-сервере, он возвращает ошибку.

Я пытался изменить tf.int32 на tf.int64, но это не работает. (print(np.intp returns 64)

Я сомневался насчет RAM shortage, поэтому отслеживайте изменение памяти в режиме реального времени с помощью команды free -m, но она никогда не израсходует всю память (у меня 16GB памяти на моем сервере Ubuntu)

Какая будет возможная проблема?

INFO:root:# hparams
INFO:root:# Prepare train/eval batches
Traceback (most recent call last):
  File "/home/zachary/projects/transformer/train.py", line 36, in <module>
    shuffle=True)
  File "/home/zachary/projects/transformer/data_load.py", line 160, in get_batch
    batches = input_fn(sents1, sents2, vocab_fpath, batch_size, shuffle=shuffle)
  File "/home/zachary/projects/transformer/data_load.py", line 125, in input_fn
    args=(sents1, sents2, vocab_fpath))  # <- arguments for generator_fn. converted to np string arrays
  File "/home/zachary/.local/lib/python3.5/site-packages/tensorflow/python/data/ops/dataset_ops.py", line 1461, in from_generator
    generator, output_types, output_shapes, args))
  File "/home/zachary/.local/lib/python3.5/site-packages/tensorflow/python/data/ops/dataset_ops.py", line 408, in from_generator
    args = tuple(ops.convert_n_to_tensor(args, name="args"))
  File "/home/zachary/.local/lib/python3.5/site-packages/tensorflow/python/framework/ops.py", line 1273, in convert_n_to_tensor
    as_ref=False)
  File "/home/zachary/.local/lib/python3.5/site-packages/tensorflow/python/framework/ops.py", line 1240, in internal_convert_n_to_tensor
    ctx=ctx))
  File "/home/zachary/.local/lib/python3.5/site-packages/tensorflow/python/framework/ops.py", line 1175, in internal_convert_to_tensor
    ret = conversion_func(value, dtype=dtype, name=name, as_ref=as_ref)
  File "/home/zachary/.local/lib/python3.5/site-packages/tensorflow/python/framework/constant_op.py", line 304, in _constant_tensor_conversion_function
    return constant(v, dtype=dtype, name=name)
  File "/home/zachary/.local/lib/python3.5/site-packages/tensorflow/python/framework/constant_op.py", line 245, in constant
    allow_broadcast=True)
  File "/home/zachary/.local/lib/python3.5/site-packages/tensorflow/python/framework/constant_op.py", line 283, in _constant_impl
    allow_broadcast=allow_broadcast))
  File "/home/zachary/.local/lib/python3.5/site-packages/tensorflow/python/framework/tensor_util.py", line 467, in make_tensor_proto
    nparray = np.array(values, dtype=np_dt)
MemoryError