Я исследую, какие задания по обработке данных занимают больше времени, чем их использование в течение определенного времени (для установок нашей системы, где она работает в течение многих месяцев).Размеры обрабатываемых файлов данных различаются по размеру вплоть до нескольких порядков, поэтому я хочу нормализовать сравнение между временем обработки и количеством записей в полезной нагрузке, которое заблокировано в значении переменной XCOM.
Я хотел бы создать представление SQL, которое можно использовать для корреляции продолжительности обработки (конец-начало) и размера файла с датой выполнения, чтобы увидеть, насколько стабильна обработка в течение ее жизненного цикла.
В онлайн-документации есть примеры сериализации в JSON для Python, но наше хранилище метаданных для Airflow находится в PostGres, и я хочу создать представление SQL, которое может предоставлять метрики, которые связывают статистику с обработкой пакетов / задач исвязать метаданные из самой обработки, вложенные в значения XCOM.
Кто-нибудь теперь знает, как преобразовать байтовое значение XCOM в нечто, разбираемое в PostGres SQL?
