Предполагая, что «l2» является строкой, а «Label2» состоит из наборов, простым решением будет просто преобразовать столбец набора в строку и выполнить str.contains
:
label = "l2"
df[df['Label2'].astype(str).str.contains(r'\b{}\b'.format(label))]
Label1 Label2
0 a {l1, l2}
4 e {l2, l3}
Другой вариант - это понимание списка:
df[['l2' in x if isinstance(x, set) else False for x in df['Label2']]]
Label1 Label2
0 a {l1, l2}
4 e {l2, l3}