Android очень параноидален, когда дело доходит до доступа к сети.Без корневого доступа вы не сможете запустить какие-либо серверы, кроме клиентов.Короче говоря, без root, посмотрите на ответ от 100rabh.
Если у вас есть root, вы можете либо открыть свой сетевой стек для входящих соединений через порт 5555, либо взломать adb для выполнения обратного соединения(то есть подключитесь к вашему клиенту).Последнее намного безопаснее и не должно быть слишком сложным.(Хотя я некоторое время не рассматривал код.) Биты связи для всех частей adb обрабатываются в одной и той же библиотеке для всех трех частей adb (сервер, демон и клиент).
Кстати, то, что вы называете сервером в телефоне, на самом деле является демоном adb.