spark magic - введите контекст sql в виде строки

Question

Подключение к свече через Ливий прекрасно работает в Jupyter, как и следующая магия искры:

%%spark -c sql
select * from some_table

Теперь, как я могу использовать строковые переменные для запроса таблиц? Следующее не работает:

query = 'select * from some_table'

Следующая ячейка:

%%spark -c sql
query

Также не работает следующее:

%%spark -c sql
'select * from some_table'

Есть идеи? Можно ли «повторить» содержимое строковой переменной в ячейку?

Answer 1

Похоже, я нашел решение. Есть функция, которая превращает строки в магические команды ячейки:

%%local

from IPython import get_ipython
ipython = get_ipython()

line = '-c sql -o df'
query = 'select * from some_table'
ipython.run_cell_magic(magic_name='spark', line=line, cell=query)

После этого запрос находится в пандас-фрейме данных df.