Можно ли наносить CDC на файл паркета? - PullRequest
0 голосов
/ 25 октября 2018

Я использую spark и мне нужно применить файлы cdc из реплики базы данных к файлу паркета, как upsert.Я уже сделал код для получения последнего состояния каждого идентификатора в файле Cdc, но теперь мне нужно применить эти последние состояния на историческом паркете.

1 Ответ

0 голосов
/ 08 ноября 2018

К сожалению, нет - посмотрите этот JIRA - https://issues.apache.org/jira/browse/PARQUET-1289

Файлы ORC имеют эту возможность (используется для обеспечения соответствия ACID в Hive), но я не уверен, как вы получите доступ к этой возможности из Spark.https://orc.apache.org/docs/acid.html

...