Вы должны передать --host и --build в скрипт configure и установить переменную PKG_CONFIG, как минимум.Может потребоваться больше настроек (вы можете переопределить автоопределение с помощью переменных среды).
Почему бы просто не добавить необходимые пакеты в buildroot?