Вы не можете. XDocument не реализует IXmlSerializable. XElement реализует IXmlSerializable, поэтому вы можете передавать его через WCF.
Вы также можете передать строку вместо XDocument и проанализировать ее локально.
Пример:
Сервер:
public string DoSomething()
{
XDocument myXDocument = new XDocument();
// Do stuff
return myXDocument.ToString();
}
Клиент:
XDocument doc = XDocument.Parse(myWebService.DoSomething());