Как вы собираете таблицу Spark в R, используя sparklyr, сохраняя длинные целые числа без необходимости предварительно преобразовывать их в строки?
Насколько я понимаю, R имеет тип integer64, который можно использовать для обработки больших целых чисел ценности. Spark обрабатывает такие значения, используя свой LongType, но когда я собираю таблицу Spark с Long, я получаю двойное число на стороне R. Проблема с двойниками заключается в том, что они могут потерять точность.
Я приложил изображение, чтобы показать несоответствие, которое происходит при сборе фрейма данных. Если я преобразую значение в строку, оно будет собрано идеально. Но если я этого не сделаю, он превращается в двойник, а затем теряет точность.
Мне было интересно, есть ли какие-нибудь конфиги Spark или какие-то опции, которые я должен установить где-нибудь, чтобы получить sparklyr для сбора его как целого числа64.
