Я не совсем понимаю обозначения лямбда-исчисления, поэтому не могу точно знать, что такое Y-комбинатор, но мне интересно, есть ли функция R Recall()
(страница помощи здесь) не поможет вам построить то, что вы после. Вот пример его использования для вычисления факториала:
# Calculate 4!
(function(n) {if (n<=1) 1 else n*Recall(n-1)})(4)
И здесь он применяется к описанному вами примеру:
(function(x, n) {if (n<=1) x else Recall(2*x+1, n-1)})(x=1, n=1)
# [1] 1
(function(x, n) {if (n<=1) x else Recall(2*x+1, n-1)})(x=1, n=2)
# [1] 3
(function(x, n) {if (n<=1) x else Recall(2*x+1, n-1)})(x=1, n=3)
# [1] 7