Сначала обрежьте кавычки, затем разберите строку:
string input = "\"15.4\"";
double n = Double.Parse(input.Trim('"'), CultureInfo.InvariantCulture);
Использование инвариантной культуры означает, что при разборе используется точка в качестве десятичного разделителя, независимо от текущих настроек культуры.