Из моего текущего поиска (хотя я мог что-то пропустить) я должен согласиться с Devart, что вы не можете отлаживать функции UDF.
Еще один совет, который вам нужно дать, - это использовать stderr для отладки.Я создал кое-что довольно простое для работы:
void udf_debug( char *msg, ... ) {
#ifdef DEBUG
va_list ap;
va_start(ap, msg);
vfprintf(stderr, msg, ap);
va_end(ap);
fflush(stderr);
#endif
}