Да, вы все равно должны их уничтожить. Одним из проектов, которые могут показать этот недостаток, являются, например, шаблоны на основе наблюдателей, где один объект хранит списки указателей на другой. Если деструктор не запущен, указатель не будет удален, а код потерпит неудачу при попытке доступа к объекту, который больше не существует.
В вашем примере проще всего просто не устанавливать инициализированное значение false в удаленном объекте. Значение по-прежнему определено как находящееся в действительном состоянии после перемещения, и деструктор r-значения, на которое вы ссылаетесь, очистит его без дальнейшего вмешательства.