спарк отключить поддержку котировок

Question

val dfInput = spark.read
  .option("delimiter", "\u0001")
  .csv(file)

По умолчанию это чтение кавычек (игнорирование разделителей между кавычками).Я мог бы добавить .option("quote", "\u0000") как обходной путь, но я ищу более постоянное решение, так как это хакерское исправление, чтобы не читать ни в каких кавычках.Поддерживается ли что-то подобное?

Answer 1

Не похоже, что для этого еще что-то встроено, вы можете увидеть текущие функции здесь .