Настройка
Данные являются данными одномерного временного ряда. Скользящее окно (фрейм) проходит по данным и извлекает 100-мерный вектор объектов f_ {i} (t_ {j}), где i - индекс файла, а j - индекс времени фрейма. Энергии из n последовательных кадров суммируются для формирования двумерного «изображения», которое является входом для классификатора.
Базовый подход
Просто сохраните сложенные векторы в файле tfrecords, и все готово. Недостатком является то, что составные векторы содержат много дублирующих данных и занимают много места. Если у нас есть 10 гигабайт векторов объектов, то для суммирования 10 кадров истории потребуется 50 гигабайт (+ накладные расходы) пространства. Тем не менее, мы можем позволить tf.data выполнять перетасовку, предварительную выборку, создание пакета, а что нет. Очень удобно!
Желаемый подход
Реализация, в которой мы сохраняем только векторы объектов в виде файла tfrecords и создаем сложенный вектор объектов (изображения) на лету.
Вопрос
Было ли с этим сталкиваться и иметь дело раньше? Разве большинству людей просто наплевать на высокий уровень повторения их данных или на количество потребляемого пространства?
Насколько сложно получить желаемую реализацию. Даже наивное перетасовывание данных может испортить порядок времени. Я также использовал tf.data только так, чтобы вызывать iterator.get_next (), чтобы получить функцию и метку из одного примера, а затем передать ее графику. Я полагаю, мне также нужно выяснить, как получить не только умение и ярлык текущего примера, но и его предшественников вовремя! Поэтому я ищу несколько советов о том, как этого добиться.
Вот изображение процесса для изображений, сформированных из 2 кадров векторов признаков. Обратите внимание, что в этом случае каждый вектор объектов будет дважды отображаться в файле данных tfrecords:
