итерации на фрейме данных pyspark на основе уникальных записей и значений, отличных от na

Question

У меня есть код ниже в Python

for i in (map.area.unique()):

   # Select all the map records from the currently processed area
   f_0 = f_map[(f_map['area'] == i )]
   m_0 = m_map[(m_map['area'] == i) | (m_map['area'] == "Unknown")]

Я переписываю его в pyspark. Но третья строка - исключение. Может кто-нибудь указать, что я делаю не так.

фрейм данных карты:

             play_id    calendar_period            telephone  area
 1:         286178          201811                03235095  510
 2:         286179          201811                03235113  500

f_map:

       id        value area type
1: 227149 385911000059  510  mob
2: 122270 385911000661  100  fix

m_map:
       id area type
1: 227149 590  mob
2: 122270 190  fix

Выход должен быть:

       id        value    area type
1: 227149 385994266007 Unknown  mob
2: 122270 385989281716 Unknown  mob