Нельзя смешивать и сопоставлять ссылки на ячейки xlA1 с ссылками на ячейки xlR1C1. A5 - это R5C1 в синтаксисе xlR1C1.
ActiveCell.FormulaR1C1 = "=if('Sheet 2'!RC>'Sheet 2'!R5C1,""PASS"", ""FAIL"")"
Теперь в этой формуле RC представляет собой относительную ссылку на строку / относительный столбец для той же ячейки на «Листе 2», что и активная ячейка на активном листе. Тем не менее, ссылка «Лист 2»! R5C1 будет представлять собой абсолютную строку / абсолютный столбец, например «Лист 2»! $ A $ 5.
Если вам требуется относительная ссылка на строку / относительный столбец для «Листа 2»! A5, тогда вам нужно использовать .Formula вместо .FormulaR1C1 и ссылаться на адрес активной ячейки способом xlA1.
with ActiveCell
.Formula = "=if('Sheet 2'!" & .address(0, 0) & ">'Sheet 2'!A5,""PASS"", ""FAIL"")"
end with