Как использовать логический тип Parquet UUID в схеме - PullRequest
1 голос
/ 13 марта 2020

Совсем недавно проект parquet-format добавил логический тип UUID. В частности, это было добавлено в редакция 2.4 формата паркета. Мне интересно использовать библиотеку parquet-mr в Java для создания некоторых файлов паркета, но я не могу понять, как использовать логический тип UUID в схеме паркета. Такая простая схема, похоже, не работает, как я надеюсь:

message SimpleSchema {
  required int32 value1;
  required fixed_len_byte_array(16) value2 ( UUID );
}

Я перепробовал много вариантов этой схемы, и до сих пор не удалось заставить ее проанализировать MessageTypeParser.parseMessageType метод. Это ошибка или ограничение в библиотеке parquet-mr? Или я просто неправильно форматирую свою схему? Спасибо!

1 Ответ

0 голосов
/ 25 марта 2020

Библиотека parquet-mr в настоящее время не поддерживает логический тип UUID. Существует проблема с отслеживанием прогресса в реализации этой функции здесь .

...