pandas проверка схемы с указанием c столбцов

Question

У меня есть pandas фрейм данных с почти 56 столбцами и 120000 строк.

Я хотел бы реализовать проверку только для некоторых столбцов, а не для всех.

Я следовал статье в https://tmiguelt.github.io/PandasSchema/

Когда мне понравилось что-то ниже функции, она выдает ошибку как

"Неверное количество столбцов. Схема задает 2, но фрейм данных имеет 56 "

def DoValidation(self, df):
    null_validation = [CustomElementValidation(lambda d: d is not np.nan, 'this field cannot be null')]

    schema = pandas_schema.Schema([Column('ItemId', null_validation)],
                                   [Column('ItemName', null_validation)])
    errors = schema.validate(df)
    if (len(errors) > 0):
        for error in errors:
            print(error)
        return False
    return True

Я что-то не так делаю?

Как правильно проверить указанный столбец c в кадре данных?

Примечание: у меня есть для реализации различных типов проверок, таких как десятичные, длины, проверки нулевой проверки и т. д. c в разных столбцах, а не только проверки нулевой проверки, как показано в функции выше.

Answer 1

Ошибка отображается как «Недопустимое количество столбцов. Схема задает 2, но у фрейма данных 56», поскольку у вас 56 столбцов. Возможно, вам придется проверить все эти 56 или создать новый df, содержащий столбцы, которые вы хотите указать.