WCF - это отличный способ, позволяющий Silverlight общаться с вашим сервером. Имеется множество параметров для подключения, регулирования, установки тайм-аутов и т. Д.
Ваша проблема не в том, как общаться, а в том, как вы будете координировать. Когда все ваши клиенты обращаются к серверу напрямую, сервер становится ответственным за отслеживание состояния каждой игры. Вам нужно будет разработать систему государственного управления. Например, вы можете сохранить результат действий в базе данных, и в следующий раз, когда клиент пингует сервер, клиент получает обновленную информацию и пользовательский интерфейс меняется для пользователя.
Как только вы разберетесь с этим слоем, вам будет довольно легко написать методы службы WCF и предоставить конечную точку, которую вы можете использовать в своем клиенте Silverlight.