Вы должны зарегистрировать свою функцию либо в классе конфигурации
config.AddSqlFunction("len", new StandardSafeSQLFunction("len", NHibernateUtil.Int32, 1));
или для создания собственного диалекта
public class MyDialect : MsSql2008Dialect
{
public MyDialect()
{
RegisterFunction("len", new StandardSafeSQLFunction("len", NHibernateUtil.Int32, 1));
}
}