Быстрый способ вставить вложенный JSON в Hadoop (Spark Java)

Question

Мне нужно писать в Hadoop около 150B вложенных записей Json в день (используя Spark Java),

Что такое «быстрый» способ сделать это с точки зрения производительности, например:

1. Создание таблицы Hive и запись файла паркета в HDFS
2. Или создайте Dataset из Json и используя saveAsTable

Или есть другой способ сделать это?