Они совершенно разные. О том, что лучше, мне больше нравится Git. Это позволяет лучше местного управления, чем SVN.
GIT является распределенным, что означает, что каждый репозиторий может выступать в качестве мастера в любом случае, в то время как SVN является централизованным.
В Windows у меня был лучший опыт работы с TortoiseSVN, чем у Git, но я не пробовал последние версии.
SVN означает Subversion. CVS - это еще один, который обычно путают с аббревиатурой VCS, системой контроля версий. Git - это DVCS.
TortoiseSVN - это оболочка. Он позволяет вам использовать обычно консольное приложение (SVN) с простыми контекстными меню.