Загрузить пользовательский набор текстовых данных в модель тензорного потока

Question

Я пытаюсь создать модель классификации текста с тензорным потоком. Есть много наборов данных, которые вы можете импортировать в проект, используя tfds.load(), но я хочу создать собственный уникальный набор данных. В тензорном потоке. js все, что мне нужно было сделать, это создать файл JSON с данными обучения / тестирования. Кажется, нет простого способа сделать это с python.

У кого-нибудь есть опыт с этим?

Answer 1

ŧf.data.Dataset это место, чтобы быть. Маленький указатель: https://www.tensorflow.org/api_docs/python/tf/data/Dataset. Если ваш набор данных помещается в память, вы можете go с tf.data.from_tensor_slices, что позволит вам создать набор данных из numpy массивов. Если нет, то from_generator может подойти вам, так как вы можете написать свой генератор простым python. Для «правильного» способа сделать это (это дает вам самый быстрый конвейер в теории) вы должны сохранить ваши данные как TFRecord s и прочитать их с tf.data.TFRecordDataset. Все, что плывет на твоей лодке. Просто нажмите на ссылку!