Очевидным первым шагом является удаление из библиотеки всех символов, кроме тех, которые требуются для публикуемого вами API.
«Стандартные» методы предотвращения разборки (например, переход в середину инструкции или шифрование некоторых частей кода и расшифровка их по требованию) применяются к разделяемым библиотекам.
Другие методы, например обнаружение того, что вы работаете в режиме отладчика и дает сбой, на самом деле не применяется (если только вы не хотите довести своих конечных пользователей до безумия).
Предполагая, что вы хотите, чтобы ваши конечные пользователи могли отлаживать приложения, которые они разрабатывают, используя вашу библиотеку, запутывание - это в основном безнадежное дело. Ваши усилия действительно намного лучше потрачены на предоставление функций и поддержки.