Я думаю, вам следует снова отключить это предупреждение. Это там по причине. Нельзя помещать виртуальный деструктор в ваш класс сегодня, но вы не можете точно предсказать, как ваш класс будет использоваться в будущем.
Незаметное изменение в использовании класса может привести к тому, что следующий разработчик потратит свои силы на несколько часов, пытаясь отследить утечку ресурсов. Сделайте этому человеку одолжение и сделайте деструктор виртуальным сейчас.
Также вы можете спросить себя
Что я получу, сделав его не виртуальным
Вы упомянули наличие абстрактного класса, поэтому я предполагаю, что он имеет хотя бы одну виртуальную функцию. Таким образом, создание виртуального деструктора не добавляет к объекту v-таблицу, а просто расширяет ее, добавляя еще один член.
Я не вижу реальной выгоды в том, чтобы сделать это не виртуальным. Только проблемы.