Так что эта страница полезна:
http://www.cplusplus.com/reference/queue/priority_queue/pop/
То, что он говорит, - то, что объекты в очереди разрушены.
Однако, если на самом деле у объекта нет деструктора, который удаляет его содержимое, вы должны удалить его самостоятельно. Но это не ОО-программирование, это просто ленивое использование контейнера.
Обратите внимание: скажем, пара объектов, у которых есть свои деструкторы, будет правильно вызывать оба деструктора.
Так что, в общем, нет, вам не следует явно удалять объекты, но если вы лениво написали контейнер необработанных указателей или пар указателей, то вам придется это сделать, потому что вы не выиграете от вызова деструктора.