API набора данных Tensorflow

Question

Я читаю файл CSV, используя tf.contrib.data.make_csv_dataset(csv_path), CSV имеет 2 столбца, а именно: обзор и рейтинг . Что я хочу выполнить токенизацию на колонке обзора после прочтения.

 dataset = tf.contrib.data.make_csv_dataset(csv_file, batch_size=2)

После создания набора данных я хочу, чтобы метод моей карты, представленный ниже, преобразовал набор данных для обзор столбец:

def create_tokens(sentence):
    return tf.string_split([sentence).values

Я застрял здесь.

Answer 1

С данными этого примера:

review, rating
Best film ever, 5
rather meh, 2

Вы должны быть в состоянии использовать tf.data.map (), как объяснено здесь и здесь в тензорном потоке 1.10:

def create_tokens(sentence):
    return tf.string_split(sentence['review'])

dataset = tf.contrib.data.make_csv_dataset('test.csv', batch_size=2)
dataset = dataset.map(create_tokens)