У меня есть два фрейма данных: 1) из Col1 -> T 2) из T1 -> P
Теперь я должен реализовать ниже logi c в pyspark. Он включал в себя зацикливание и выборку значений из различий в данных. Нужна помощь в синтаксисе и структурировании
Я хочу создать новый столбец в df1.
df1.withColumn("Result2).select(
df1[b][i]*df1[b][i]*(if c=1,1 else fetch T1[i],T2[I] and get corresponding p value)
+ df1[b][i]*df1[b][i+1]*(if c=1,1 else fetch T1[i],T2[I+1] and get corresponding p value)
........ ...
в основном применяет эту формулу для всех строк B
