Обратите внимание, что \ это специальный escape-символ. Это работает:
string str = "<svg xmlns=\"http://www.w3.org/2000/svg\" xmlns:xlink=\"http://www.w3.org/1999/xlink\" width=\"376\" height=\"254\" viewBox=\"0 0 376 254\">";
string temp = Regex.Match(str, "height=\"\\d+\"").Value; //height=254
int height =Int32.Parse (Regex.Match(temp, "\\d+").Value); //254