как выполнить итерации по столбцу в фрейме данных pyspark на основе уникальных записей и значений, отличных от na

Question

У меня есть код ниже в python

for i in (map.area.unique()):

   # Select all the map records from the currently processed area
   f_0 = f_map[(f_map['area'] == i )]
   m_0 = m_map[(m_map['area'] == i) | (m_map['area'] == "Unknown")]

Я переписываю его в pyspark.Но третья строка - исключение.Может кто-нибудь указать, что я делаю не так.

Карта данных кадра:

             play_id    calendar_period            telephone  area
 1:         286178          201811                03235095  510
 2:         286179          201811                03235113  500

f_map:

       id        value area type
1: 227149 385911000059  510  mob
2: 122270 385911000661  100  fix

m_map:
       id area type
1: 227149 590  mob
2: 122270 190  fix

Выход должен быть:

       id        value    area type
1: 227149 385994266007 Unknown  mob
2: 122270 385989281716 Unknown  mob

Answer 1

Я думаю, что проблема возникает из последней строки. Если я правильно понимаю вашу проблему, это должно быть то, что вы ищете:

 temp1 = sampdf[(sampdf['area'] == i) | (sampdf['area'] == "Unknown")]