У нас есть требование проверки данных файла avro с использованием схемы Json в Spark 2.2. Схема JSON имеет тип черновой 4.
Требование проверяет каждый столбец из строки с несколькими правилами, такими как целочисленный диапазон, между значениями большечем значение и т. д. в том же столбце и соберите все ошибки ИЛИ проверьте правильность фрейма данных spark, используя схему json, и соберите результаты проверки в новом фрейме данных.Будет здорово, если кто-нибудь посмотрит на это и предложит лучшее решение.