Предполагая, что вы используете gcc, при связывании вашей библиотеки установите -fvisibility = hidden и в своем источнике библиотеки отметьте все функции, которые вы хотите видеть как extern. Я думаю, что это должно работать, пока openssl не объявил свои собственные функции extern.
Я думаю, что если openssl объявил некоторые символы extern, вы можете вручную принудительно скрывать символы с помощью прагм.
Есть и другие варианты. Обратитесь к документации по gcc в разделе fvisibility для полного объяснения того, что вам доступно.