Я использую spark.reader.csv("path.csv") для загрузки и анализа CSV.Однако мои файлы могут содержать ошибки (недопустимые типы, недостаточно столбцов и т. Д.).Можно ли прочитать такой файл и сохранить информацию об ошибках?Я хотел бы получить Dataset[Either[Exception, Row]]
, о котором я думал:
def customCsvParser(s: String): Either[String, Row] = ???
reader.text("a").map(customCsvParser(_)).as[Either[String, Row]]
однако мне было бы легче не писать слишком много пользовательских логик.