Это потому, что OS X имеет свой собственный libtool, весьма отличающийся от GNU libtool, который называется glibtool в OS X. Вам нужно отредактировать Makefile в src/, чтобы установить
LIBTOOL = glibtool
и т.д.. Вам также следует удалить строки, которые генерируют файлы .so, поскольку OS X имеет другой формат для динамической библиотеки и способ ее установки. Я бы порекомендовал вам придерживаться файла .a. Удачи!
Этот документ Apple Портирование приложений UNIX / Linux может помочь вам.