Запрос структуры набора данных Tensorflow - строки, столбцы, форма - PullRequest
Новая
       4

Запрос структуры набора данных Tensorflow - строки, столбцы, форма

0 голосов
/ 26 октября 2019

Я настраиваю данные (обучение, тестирование и проверка) для загрузки в простую модель TensorFlow (Tensorflow v2.0). Я хотел бы просмотреть количество строк и столбцов в конкретных наборах данных TensorFlow, которые я строю.

Если в наборе данных установлен атрибут _tensors, я могу использовать технику в Как получить числострок, столбцов / размеров файла tenorflow.data.Dataset? .

Однако похоже, что некоторые наборы данных не имеют тензоров. Например, 

a = np.array([e for e in range(10)])
df = pd.DataFrame({'a':a,'b':a,'c':a})

target = df.pop('c')

dataset = tf.data.Dataset.from_tensor_slices((df.values, target.values))

print([x.get_shape().as_list() for x in dataset._tensors])  
# Works.  Gives:
#[[10, 2], [10]]

train_dataset = dataset.shuffle(len(df)).batch(1)

print([x.get_shape().as_list() for x in train_dataset._tensors]) 
# ** Fails.  Gives:
# AttributeError: 'BatchDataset' object has no attribute '_tensors'

Я вижу, что это разные типы наборов данных (TensorSliceDataset vs BatchDataset): 

dataset
Out[109]: <TensorSliceDataset shapes: ((2,), ()), types: (tf.int32, tf.int32)>

train_dataset
Out[110]: <BatchDataset shapes: ((None, 2), (None,)), types: (tf.int32, tf.int32)>

Похоже, что следующее дает количество строк в тензоре:

print(len([e for e in dataset]))
#Gives:
#10

print(len([e for e in train_dataset]))
#Gives:
#10

Следующие итерации по перечисленным объектам enter code here: 

r=0
for t in dataset:
    for e in t:
        r+=1
        tf.print('Row #{0}={1}'.format(r,e))

Вывод: 

Row #1=[0 0]
Row #2=0
Row #3=[1 1]
Row #4=1
Row #5=[2 2]
...
Row #17=[8 8]
Row #18=8
Row #19=[9 9]
Row #20=9

Есть ли лучший подход?

...