Полагаю, вы неправильно поняли, что делает этот метод:
[[CCSpriteFrameCache sharedSpriteFrameCache] removeSpriteFramesFromFile:@"file.plist"];
Он загружает спрайт-кадры в список, затем удаляет объекты CCSpriteFrame из этого списка из кэша - если они кэшируются. НЕ удаляет текстуру, только объекты CCSpriteFrame!
Чтобы удалить текстуру из кеша вам нужно позвонить:
[[CCTextureCache sharedTextureCache] removeTexture:tex];
Вы должны знать, что объект CCSpriteFrame - это относительно легкий объект, который потребляет не более 64 байт памяти. Это ничто по сравнению даже с очень маленькой текстурой 32x32 с 16-битной глубиной цвета, которая использует 2048 байт памяти.