Попробуйте сделать пошаговую отладку . Что произойдет, если вы измените свою формулу в:
=IF((Sheet1!B2:B3=Sheet2!A2:A3),Sheet2!D2)
Или
=IF((Sheet1!B2:B3=Sheet2!A2:A3),"the same values")
Возможно, не все значения действительно одинаковы в столбцах A и B. Или D2 не содержит того, что вы ожидаете.