Вы правы.Файлы PDB предназначены для отладки, но вам также может понадобиться отладка сборок релиза.Сохранение PDB выпущенных сборок очень важно, когда вы хотите отладить проблему клиента, и у вас есть файл аварийного дампа, связанный с этой проблемой.
Кстати, создание файлов PDB не вредит оптимизации компилятора.Если вы не отправите его клиенту, это не повлияет на производительность.