Разобрался. Эта проблема была, когда я не работал в полноэкранном режиме.
В диалоговом окне «Подключение к удаленному рабочему столу»
Локальные ресурсы -> Клавиатура = На удаленном компьютере
Теперь я могу использовать Alt + Вставить вместе со всеми другими сочетаниями клавиш, когда окно клиента удаленного рабочего стола находится в фокусе.