Какая грамматика sql эквивалентна DataFrame # coalesce - PullRequest
0 голосов
/ 20 марта 2019

С помощью DataFrame.coalesce API мы можем уменьшить количество разделов, я хочу, чтобы такая же функциональность использовалась в spark sql, поэтому я бы спросил, как написать sql,

В spark sql я бы хотел, чтобы select * from a имел только 10 разделов, которые на самом деле могут иметь более 100 разделов

1 Ответ

0 голосов
/ 20 марта 2019

ОК, я нашел JIRA, которая точно делает то, что я хочу, https://issues.apache.org/jira/browse/SPARK-24940

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...