Если у вас нет других изменений в вашем рабочем дереве (вы можете сначала их спрятать), возможно, есть более простой способ:
find -type d -name .svn -delete
git add -u
git commit -m 'remove svn folders -- no idea which maniac would stage them'
Если вы хотите только удалить их, но не удалить физически, используйте anton's answer :
find -type d -name .svn -print0 | xargs -0 git rm -r --cached