Существует два способа интерпретации вопроса.
(1) Вы хотите проверить, нет ли совпадений в текущей строке, но есть ли совпадение где-то еще.
Для первого столбца вы хотите проверить, не совпадает ли число рядом с ним, но есть ли совпадение где-то еще во втором столбце, поэтому используйте пользовательскую формулу:
=AND(B1<>A1,COUNTIF(B:B,A1))
Аналогично для второго столбец:
=AND(A1<>B1,COUNTIF(A:A,B1))
(2) Вы хотите проверить, есть ли совпадение где-то еще , даже если совпадение есть в текущая строка
=COUNTIF(B:B,A1)-(A1=B1)>0
и
=countif(A:A,B1)-(A1=B1)>0