Трансляция присоединиться в спарк sql (Spark 1.6.2)

Question

Как сделать трансляцию в спарк sql.Есть запрос, в котором основная таблица объединяется с 10 таблицами поиска.Я хочу транслировать таблицу поиска, чтобы уменьшить перетасовку.Как это сделать в SQL заявление.Я не могу транслировать df и создать таблицу.Мне нужно добавить трансляцию только в запросе.Я могу легко сделать с помощью искры Scala, но мне нужно сделать в sql.

пример-

select * from A a
join B b 
on a.id = b.id
join C c
on c.id = b.id
join D d
on d.id = c.id
.....
....
...
..

Answer 1

Spark 1.x не поддерживает широковещательные подсказки (синтаксис подсказки действителен, но не действует).

Если вы хотите использовать широковещательную передачу, выполните одно из следующих действий.:

• Переключиться на DataFrame API.
• Настроить spark.sql.autoBroadcastJoinThreshold ниже максимально ожидаемого размера таблицы.