pyspark пишет файлы Parquet с разной кодировкой - PullRequest
0 голосов
/ 04 сентября 2018

При использовании pyspark для записи файлов паркета, есть ли способ установить кодировку? Похоже, что по умолчанию это "Словарная кодировка (PLAIN_DICTIONARY = 2 и RLE_DICTIONARY = 8)"

  • Обычный: (PLAIN = 0)
  • Кодировка словаря (PLAIN_DICTIONARY = 2 и RLE_DICTIONARY = 8)
  • Кодировка длины выполнения / гибридная битовая упаковка (RLE = 3)
...