Я сохранил данные в хранилище в формате паркетного файла, который разделен по дате и часу. как показано ниже для системы сетевых билетов.
путь к хранилищу, например:
test/pathof/name_file/dt=10-02-2020/h=0
test/pathof/name_file/dt=10-02-2020/h=1
.
.
test/pathof/name_file/dt=10-02-2020/h=24
Файл паркета раздела содержит system_id, comment_of_network_team и статус.
мы сохраняем данные паркет в ежедневных базах. я пытаюсь получить старение системного идентификатора. то есть предположим, что билет открыт для определенного системного идентификатора 2224 (например) от 10-02-2019 и закрыт 15-02-2019.
По текущим данным я пытаюсь получить устаревание всех системных идентификаторов за последние 5 дней.
Я пытаюсь загрузить данные за последние 5 дней во фрейм данных и сделать группу запросов по системному идентификатору и состоянию, а последний фильтр по статусу закрыт. но я думаю, что этот процесс не очень хорош.
Пожалуйста, помогите здесь.