Как выбрать сверла для выполнения запроса с использованием смещения? - PullRequest
0 голосов
/ 20 марта 2019

Например, у меня есть два сверла, работающие на разных машинах, и таблица с 200 строками.Можно ли вручную выбрать drillbit1 для выборки первых 100 строк и drillbit2 для выборки следующих 100 строк с помощью запроса смещения и получения объединенного результата (всего 200 строк)?Потому что в моем случае у меня есть файл паркета размером примерно 500 КБ, но я не могу получить результат запроса select * from dfs.'/path/to/parquet/file'; без ограничений через веб-интерфейс, поскольку он возвращает с ошибкой:

RESOURCE ERROR: There is not enough heap memory to run this query using the web interface. 

Please try a query with fewer columns or with a filter or limit condition to limit the data returned. 
You can also try an ODBC/JDBC client.

Ниже приведена конфигурация обоих буровых наконечников:

Размер оперативной памяти на машине = 8GDRILLBIT_MAX_PROC_MEM = "6G"DRILL_HEAP = "2G"DRILL_MAX_DIRECT_MEMORY = "3G"Apache Drill версия: 1.14.0

Я выполнил следующие запросы, как предложено на других сайтах, чтобы избежать ошибки пространства кучи:

alter session set planner.width.max_per_node = 1
alter system set planner.width.max_per_query = 2

Но я все еще сталкиваюсь с ошибкой пространства кучи.Любая помощь будет оценена.

1 Ответ

0 голосов
/ 26 марта 2019

Вам не нужно управлять выполнением битов и объединять результаты. Дрель делает это для вас внутренне. И данные в Drill не размещаются в Heap, они используют прямую память. Куча используется в основном для планирования и выполнения процесса сверления.

Похоже, у вас есть проблема, потому что ваша тренировка очень ограничена в памяти. Рекомендуемый размер кучи для сверла составляет 4-8 г, подробности см. Здесь: https://drill.apache.org/docs/configuring-drill-memory/

В настоящее время все тесты Drill unit не могут проходить на машинах памяти 8G, которые используются как CI (TravisCI и CircleCI): https://github.com/apache/drill/blob/master/.circleci/config.yml#L52

...