как получить записи с исключением в verifySchema createDataFrame - PullRequest
0 голосов
/ 13 апреля 2019

Я хочу проверить типы данных входного исходного файла (паркета) по схеме, которую я определил в файле json (тип структуры). Я хочу получить исходные записи, которые не соответствуют типам данных, определенным в схеме.

Как обработать исключение проверки схемы = true в createDataFrame и получить эти записи? Моя цель состоит в том, чтобы получить эти записи и отклонить их, и лишь немногие конвертировали и отправляли их как хорошие записи.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...