вы не можете использовать библиотеку libelf в вашей собственной системе. Вы пытаетесь кросс-компиляции в конце концов. ваш компьютер, вероятно, на базе x86, телефон является рукой. Даже если вы сможете убедить компилятор связать конечный исполняемый файл, ваш код x86 не будет работать на руку.
У вас есть два варианта:
1) тоже скомпилировать libelf с помощью кросс-компилятора
2) попробуйте извлечь версию libelf в ручном режиме из архива Debian, распакуйте ее с помощью dpkg -x в личный каталог и попытайтесь скомпоновать ее.
Вы можете использовать указание имени библиотеки через полный путь вместо -l.