То есть 100% ЦП находится на стороне сервера, верно?
Вы можете добавить некоторые из них в свой код WCF, чтобы посмотреть, сможете ли вы сузить строку кода, вызывающую проблему.
DateTime Start = DateTime.Now;
DateTime End = DateTime.Now;
TimeSpan CallTime = End - Start;
Console.WriteLine("Call Time(MS): " + CallTime.Milliseconds.ToString());
Не видя никакого кода, я бы предположил, что это метод Serialize вашего объекта базы данных. Вы можете реализовать пользовательский интерфейс сериализации, поскольку вы действительно заинтересованы в отправке байта [].