FTP изначально не поддерживается в Silverlight, но сокеты есть, поэтому теоретически вы можете напрямую подключиться к FTP-серверу с помощью сокетов (не слишком просто, но FTP не слишком сложный протокол). Однако сокеты имеют ограниченный набор портов в приложениях SL на основе браузера (IIRC между 4502 и 4535), поэтому вам придется изменить FTP-сервер для прослушивания этих портов вместо порта по умолчанию 21. Это не проблема в приложениях SL вне браузера, так что если это опция, то вы также можете использовать порт по умолчанию.
Итак, я бы сказал, что общение напрямую с FTP-сервером возможно, но, честно говоря, я бы его не рекомендовал. Использование WCF (или ASMX, как показано в http://silverlightftp.codeplex.com) будет намного проще.