Почему данные исчезли после операции объединения данных в кадре в искре?

Question

У меня есть два искровых фрейма данных, и я могу найти строку "cp_uin = '709155161" в обоих. но почему я ничего не нахожу после операции соединения? это действительно странно и сводит меня с ума ...

cplevel_df.filter("cp_uin_l= '709155161' ").show()

+---------+------------+---------+             
| cp_uin_l|manual_level|     name|   
+---------+------------+---------+      
|709155161|           4|    namex|     
+---------+------------+---------+     


df_join.where("sim_cp= '709155161' ").show()

+----------+---------+------------+    
|    cp_uin|   sim_cp|sim_cp_score|    
+----------+---------+------------+       
|1028885445|709155161|      0.1510|    
+----------+---------+------------+         

df_join.join(cplevel_df , df_join.sim_cp == cplevel_df.cp_uin_l, "inner").show()       

+------+------+-----------+--------+------------+-----+        
|cp_uin|sim_cp|sim_cp_score|cp_uin_l|manual_level|name|     
+------+------+-----------+--------+------------+-----+        
+------+------+-----------+--------+------------+-----+   

Оба кадра данных cplevel_df и df_join содержат строки, содержащие один и тот же ключ ' 709155161 ', так что я думаю, что после этих операций должна быть строка соединения после этих операций.

Answer 1

Я не знаю причину. Но когда я уронил столбец с именем «cp_uin_l» в фрейм данных «df_join», моя проблема была исправлена.