Раньше я работал в компании, которая загружала и преобразовывала данные с использованием SQL.Он будет вставлять различные статистические данные о процессе в таблицу контроля качества для этого конкретного сценария.Таким образом, такие вещи, как количество строк, дата выполнения, время выполнения и т. Д. Будут сохранены.После запуска процесса вы можете сравнить статистику вашего прогона с предыдущими прогонами, чтобы убедиться, что все прошло гладко.
Сейчас я использую Python для загрузки и обработки данных и пытаюсь найти решение для контроля качества.Я рассмотрел только использование pysql и вставку в таблицу SQL, но обнаружил, что у меня есть разные типы данных, которые не очень хорошо работают внутри таблицы SQL.Я хотел бы сохранить типы данных, такие как небольшие словари и списки и еще много чего, а не преобразовывать их в text / varchar.
У кого-нибудь есть предложения?