Существует довольно много примеров написания надстроек с использованием .NET для SQL. Я полагаю, что для создания надстройки вам понадобится SQL 2005 или новее.
Вот пример, который особенно полезен.
Создание пользовательской функции CLR SQL для проверки значений с помощью регулярных выражений @ MSDN
В вашем случае вы, вероятно, захотите написать функцию, которая принимает байт [] и возвращает строку (декодирование) вместе с соответствующей функцией, которая принимает строку и возвращает байт [].
На самом деле я не уверен, что вы можете напрямую использовать byte [], но вы должны иметь возможность написать соответствующую функцию-оболочку в SQL, которая может взять шестнадцатеричную строку и превратить ее в varbinary (), если это необходимо.
редактирование:
Вот несколько более надежных ссылок на другие ссылки, которые включены в предыдущую ссылку, на случай, если она вообще исчезнет.
Как: создать и запустить пользовательскую функцию CLR SQL @ MSDN
Пользовательские атрибуты для подпрограмм CLR @ TechNet