Spark внутренний запрос, приводящий к большому количеству разделов - PullRequest
0 голосов
/ 11 ноября 2019

Я видел следующее поведение в Apache spark пару раз. Я не в состоянии понять, что представляет собой такое поведение, поэтому мы стремимся охватить широкое сообщество.

Рассмотрим следующий простой запрос

select emp_name,emp_id, emp_addr from employee where emp_dob in (select cal_dt from calendar where mon = 'oct' and year=1990)

Здесь мы просто пытаемся найти всех сотрудников с месяцем рождения. в октябре 1990 года значение «октябрь». В результате этого запроса на несколько тысяч разделов больше, чем показано ниже

select emp_name,emp_id, emp_addr from employee where emp_dob in ('1990-10-01','1990-10-02','1990-10-03'....'1990-10-31')

Может ли кто-нибудь помочь мне понять это поведение?

1 Ответ

0 голосов
/ 11 ноября 2019

Это было обработано в https://issues.apache.org/jira/browse/SPARK-11150, который появится в Spark 3.0. Надеюсь, это поможет.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...