У меня есть автономные службы net.tcp, и они прекрасно работают с безопасностью или без нее, фактически вы можете разместить несколько защищенных и незащищенных контрактов net.tcp на одном и том же порту, что упрощает настройку брандмауэра.
Если отключение простого общего доступа к файлам позволило вашему клиенту / службе работать, то я подозреваю, что порт, выбранный для размещения службы, также использовался простым общим доступом к файлам.