У меня есть 2 Python
Датафрейм. Я использую Spark
. Я хочу применить Союз между ними.
Я сделал это, используя следующий код:
if ((not dataframeVide(DFold,"DFold")) and (not dataframeVide(DFnew,"DFnew"))):
nbDFold=DFold.count() ==> it diplay 3
nbDFnew=DFnew.count() ==> it dispay 2256
DFresult=DFold.union(DFnew)
DFresult2=DFresult.count()
elif ( dataframeVide(DFnew,"DFnew")):
DFresult=DFnew
else ( dataframeVide(DFold,"DFold")):
DFresult=DFold
Окончательный результат, который я получил DFresult=3
. Кажется, взял только значение DFold.
Это вина профсоюза? Как я могу отобразить в конечном результате итоговую сумму между DFold и DFnew?
Спасибо