Изменение размера фрагмента паркета Apache на S3 - PullRequest
Новая
       19

Изменение размера фрагмента паркета Apache на S3

1 голос
/ 24 марта 2020

Я работаю с apache -drill-1.17.0 (./bin/drill-embedded) и храню свои данные на S3.
Я выполнил следующие команды: 

ALTER SYSTEM SET `store.parquet.block-size` = 1073741824;

и добавлено на core-site. xml: 

</property>
    <property>
    <name>fs.s3a.block.size</name>
    <value>256M</value>
</property>

Но каждый раз, когда я запускаю команду вроде: 

CREATE TABLE entities (a, b, c,...) AS SELECT a, b, c,... FROM entities_view

Я получаю несколько фрагментов по 32M каждый.
Как я могу контролировать их размер?

...