Если у вас все еще есть источник, вы можете удалить его, используя:
make uninstall
пока вы находитесь в исходном каталоге.
Кстати, я рекомендую использовать checkinstall
в следующий раз при установке из исходного кода.
Смотри это
Если у вас (как вы сказали ...) нет целевого удаления, вам, вероятно, придется удалить его вручную.