Воспроизвести поток данных на основе файлов - PullRequest
0 голосов
/ 29 марта 2012

У меня есть живой поток данных на основе файлов в разных форматах.Данные поступают по сети и записываются в файлы в определенных подкаталогах в иерархии каталогов.Оттуда это подобрано и обработано далее.Я хотел бы воспроизвести, например, один день этого потока данных для тестирования и моделирования.Я мог бы дублировать поток данных в течение одного дня на второй компьютер и «записать» его таким образом, просто позволяя файлам накапливаться, не обрабатывая и не перемещая их.базовый каталог, просматривает все содержащиеся в подкаталогах файлы и время их создания, а затем копирует файлы в одно и то же время дня в другой базовый каталог.

Простой пример: у меня есть файлы a/file.1 2012-03-28 15:00, b/file.2 2012-03-28 09:00, c/file.3 2012-03-28 12:00.Если я запускаю скрипт / программу 2012-03-29 в 08:00, он должен спать до 09:00, скопировать b/file.2 в ../target_dir/b/file.2, затем спать до 12:00, скопировать c/file.3 в ../target_dir/c/file.3,затем спать до 15:00 и скопировать a/file.1 в ../target_dir/a/file.1.

Существует ли такой инструмент, как этот? Кажется, мне не хватает подходящих ключевых слов для поиска, чтобы найти его.

Среда - Linux, предпочтительна командная строка.За один день это будут тысячи файлов общим объемом в несколько ГБ.Время не должно быть ультраточным.Второе разрешение было бы хорошо, минутного разрешения было бы достаточно.

...