Как использовать цикл for для разделения базы данных улья с помощью pyspark: у меня есть база данных, содержащая 80 миллионов строк, отсортированных по ids.each ID, может иметь несколько строк.
pyspark
%%sql -o df1 -n -1
SELECT
VAR1,
VAR2
from HIVE_table
where id='id1'
Я хотел быразработать функцию pyspark или цикл для df1, df2 .... dfn с использованием id1, id2 ..... idn