Панды находят столбцы с уникальными значениями

Question

У меня есть две базы данных (каждая с тысячами таблиц), которые должны отражать одни и те же данные, но они поступают из двух разных источников.Я сравнил две таблицы, чтобы увидеть, в чем заключаются различия, но для этого я соединил две таблицы с помощью общего идентификационного ключа.Я проверил таблицу вручную, чтобы увидеть, что это за ключ ID, но когда мне нужно проверить тысячи таблиц, это нецелесообразно.

Есть ли в пандах способ узнать, какие столбцы (или столбцы) в таблице имеют только уникальные значения?

Answer 1

Используйте библиотеку Python, которая позволяет запрашивать вашу базу данных (pymysql, psycopg2 и т. Д.). Программно использовать метаданные, доступные из БД, для перебора таблиц и столбцов. Динамически создавайте запросы SQL для сравнения «выберите количество (поле) - количество (отличное поле) от таблицы».

Или вы также можете использовать метаданные, чтобы увидеть, какие столбцы в каждой таблице проиндексированы.

Запрос SQL для извлечения соответствующих метаданных зависит от типа СУБД.