чтение json с большими числами в искре, вызывающем округление

Question

Я сейчас пытаюсь прочитать в спарк файл JSON с большими числами. беззнаковые 64-битные длинные.

Когда я читаю это, независимо от того, pyspark.sql.types я использую в своей схеме LongType, DecimalType, DoubleType, et c ...

Проблема: Мои числа округляются. Даже если я читаю их как StringType в моей схеме.

Можно ли считать эти числа без округления?

Answer 1

Оказывается, это не было искрой вообще. Это было из дампа данных сластиком, который вывел JSON с округленными числами. Так что собираюсь просто переиндексировать его в строку, а затем вывести обратно обратно, как предложил filbranden