Как я могу использовать последовательный порт в приложении Silverlight 4.0?
В Silverlight 4 это возможно только через COM и только из браузера.
Вот статья, показывающая, как это можно сделать .
Использование в браузере или напрямую запрещено во время выполнения Silverlight.
Используйте P / Invoke с Silverlight 5 для непосредственного общения с библиотеками Win32. По сути, вы переписываете класс .NET SerialPort. Это именно то, что я сделал.