Не знаю, как решить эту проблему с помощью LINQ, но если вы не можете гарантировать содержание документа XML, было бы проще просто использовать int.TryParse () ?, например,
int result = 0;
int.TryParse((string)Data.Elements("groupBy").Elements("depth").FirstOrDefault(), out result);