Я до сих пор не знаю, что послужило причиной неуместной метки при изменении ориентации, но я смог решить ее с помощью пользовательской UIButton в качестве моего UIBarButtonItem:
let rightButton: UIButton = UIButton(type: .system)
[...]
let rightBarButtonItem: UIBarButtonItem = UIBarButtonItem(customView: rightButton)