Оператор %% делит число впереди на число позади него столько раз, сколько может, и возвращает оставшееся значение.
Например:
11 %% 2
[1] 1
В вашем коде 2:(num-1) создает вектор целых чисел от 2 до 10:
2:(num-1)
[1] 2 3 4 5 6 7 8 9 10
Затем код применяет оператор %% к num и выше вектора. Итак, мы ожидаем, что результатом будут остатки, когда num делится на каждый элемент вектора:
num %% 2:(num-1)
[1] 1 2 3 1 5 4 3 2 1