Pandas: сравнить значения двух столбцов, содержащих списки

Question

Я хочу сравнить два столбца фрейма данных, чтобы проверить, изменилось ли значение со временем или нет. Фрейм данных исходит из json, поэтому у меня есть столбцы, содержащие списки, и я хотел бы, чтобы списки были в конце процесса

Мои столбцы df:

        supplier_name_atb               sup_id
0     [recNzgDaNFph63q4B]
1     [recNzgDaNFph63q4B]  [recNzgDaNFph63q4B]
2     [rec4vKwXHZgzrrVaD]  [rec4vKwXHZgzrrVaD,recMyX5afNLaQR2qw]
3     [rec4vKwXHZgzrrVaD]  [rec4vKwXHZgzrrVaD]
4     [recMyX5afNLaQR2qw]  [recMyX5afNLaQR2qw]

Для сравнения я использую:

df2 = df.query('supplier_name_atb != sup_id').reset_index()

И то, что я получаю в результате Точно такой же df, он, кажется, не понимает различий, когда у меня есть списки внутри столбцов.

Мой ожидаемый результат:

        supplier_name_atb               sup_id
0     [recNzgDaNFph63q4B]
1     [rec4vKwXHZgzrrVaD]  [rec4vKwXHZgzrrVaD,recMyX5afNLaQR2qw]

Как я могу с этим справиться? О типах: оба типа столбцов являются объектами

Изменить: я пробовал это предложение:

df[df['supplier_name_atb'] != df['sup_id']].reset_index(drop=True)

Он по-прежнему дает мне тот же фрейм данных.