Когда вы используете TLS / DTLS, у вас есть выбор: шифровать весь кадр или вообще ничего.
Если вы хотите, чтобы во фрейме было несколько незашифрованных данных, то вам, вероятно, не нужен TLS / DTLS. Однако вы можете использовать OpenSSL для вычисления хеша вашего заголовка (используя SHA или любой другой связанный алгоритм хеширования) и добавления его в конце кадра, чтобы избежать подделки.
Для зашифрованной части кадра вам придется выбирать между симметричным и асимметричным алгоритмами шифрования. Но, не зная, чего вы хотите достичь, я не могу по-настоящему посоветовать это.
Просто помните, что симметричные алгоритмы обычно быстрее, но сначала требуют обмена ключами. Для этого вы можете использовать асимметричный алгоритм, но затем вы заново изобретаете TLS / DTLS;)