Вы не можете легко смешивать различные стили NHibernate ... Что вы можете сделать:
var crit = new SQLCriterion(SqlString.Parse("{alias}.Id IN (select Id from [dbo].[SomeFunction](?))"),
new object[] { folderId },
new IType[] { NHibernateUtil.Int64 });
, а затем:
var listOfEntities = await _session.QueryOver(() => entityAlias)
.Where(crit)
.OrderBy(x => x.Name).Asc
Обратите внимание, как я изменил текстовый запрос, добавив{alias}.Id IN (...)