На клиенте, я полагаю, вы собираетесь прочитать данные, отправленные сервером, и десериализовать их обратно:
object sentObject = formatter.Deserialize(stream);
Type objectType = sentObject.GetType();
Чтобы это работало, вам, очевидно, потребуется включить сборку, содержащую сериализованный тип, на клиенте.
Да, и имейте в виду, что класс BinaryFormatter использует не совместимый формат. Это означает, что если вы используете, например, разные версии .NET frmaeowrk на клиенте и сервере, это может не сработать. Если это так, вы должны использовать некоторый протокол взаимодействия форматов данных для обмена информацией между сервером и клиентом.