Похоже, что модальная ориентация включена по умолчанию, и она была отключена в моем проекте.
// Issue
this.element.nativeElement.setAttribute('vr-mode-ui', 'enabled', 'false');
// Fix
this.element.nativeElement.setAttribute('vr-mode-ui', 'enabled', 'true');