Загрузите Microsoft Process Explorer и посмотрите, какие процессы открывают дескрипторы файлов.
После загрузки Process Explorer запустите его (установка не требуется) и
- Выберите Найти -> Найти дескриптор или DLL
- Введите имя файла, которое вы не можете удалить.
В нем будут перечислены процессы с дескрипторами для этого файла. Убей процесс и все будет в порядке.
Обратите внимание, что это общий ответ Windows, а не конкретный ответ TortoiseSVN.