Это проблема VBA. Вы не можете типизировать массив 1x1 в double с помощью CDbl (), чтобы получить значение, которое находится в этом массиве. Вы должны дать ему индекс (0,0), который вы хотите из массива. Следующие работы:
RInterface.StartRServer
RInterface.RRun "mytst<-as.matrix(4)"
Dim tstVar As Variant, tst As Double
tstVar = RInterface.GetArrayToVBA("mytst")
tst = CDbl(tstVar(0, 0))
MsgBox "count = " & CStr(tst)
RInterface.StopRServer