У меня есть написанная функция, которая преобразует тип данных кадра данных в указанную схему в Pyspark. Функция приведения молча делает запись как Null, если она не может преобразовать в соответствующий тип данных.
например, F.col(col_name).cast(IntegerType()) приведёт к типу Integer, и если значение столбца будет Long, оно будет иметь значение null.
Есть ли способ зафиксировать случаи, когда он преобразуется в Null? В конвейере данных, который выполняется ежедневно, если они не будут захвачены, он молча сделает их нулевыми и перейдет к вышестоящим системам.