На стабильность это не повлияет, однако код в вашей библиотеке не получит никаких преимуществ, предоставляемых компилятором или процессором. Это не повлияет на используемые вами библиотеки, так как они будут скомпилированы для конкретного оборудования, на котором работает ваша библиотека.
Если вы занимаетесь интенсивной математикой в своей библиотеке, вы можете рассмотреть возможность создания двух версий библиотеки (по одной для каждой архитектуры), однако это не похоже на вас.
Выяснение того, как именно будет затронута ваша библиотека, должно стать для вас упражнением после того, как вы узнаете о различиях между архитектурами и о том, как компилятор оптимизирует ваш код для каждой из них.
Короче говоря, как вы, вероятно, уже поняли, вы, вероятно, не увидите никаких отличий в зависимости от того, как вы упомянули, что используете библиотеку, однако все зависит от того, как вы кодируете.