Сокеты - самая быстрая вещь, которую вы можете получить, поэтому, если вам нужно сделать это как можно быстрее, вы должны использовать сокеты.Они более сложны, чем WCF, но взамен вы получаете полный контроль на самом низком уровне.
Также будьте готовы к тому, что фактическим узким местом станет сериализация / десериализация объектов, передаваемых между клиентом и сервером (конечно, еслисложны).