Если ваш CSV не содержит указанных значений, for
сможет с этим справиться. Например. если имена файлов находятся во втором столбце файла:
for /f "tokens=2 delims=," %%f in (foo.csv) do del "%%f"
Было бы полезно, если бы мы знали, как выглядит ваш файл.