Подача больших данных панд в Tensorflow

Question

Я пытаюсь использовать данные из фрейма данных Pandas для подачи в конвейер Tensorflow.Я пытался сделать это:

training_dataset = (tf.data.Dataset.from_tensor_slices((
         tf.cast(df[df.columns[:-1]].values, tf.float32),
         tf.cast(df[df.columns[-1]].values, tf.int32))))

, где df - мой фрейм данных.Однако он очень большой, и я получил эту ошибку:

ValueError: Cannot create a tensor proto whose content is larger than 2GB. 

Должен ли я разделить фрейм данных и создать несколько тензорных наборов данных, и будет ли это работать?Каков наилучший способ приблизиться к этому?Я думал о подаче данных в feed_dict, но не мог понять, как это сделать.

Answer 1

Нет необходимости вручную разбивать ваш фрейм данных.Вы можете использовать tf.placeholder, чтобы избежать ограничения в 2ГБ graphdef.Создайте пустые массивы из фрейма данных, используя DataFrame.values Взгляните на это https://www.tensorflow.org/guide/datasets#consuming_numpy_arrays