Я поиграл с вашим примером, и запрос в этой форме отлично работает:
var result = session.Query<File>()
.GroupBy(file => file.Author)
.Select(author => new
{
Key = author.Key.AuthorId,
Count = author.Count()
})
.ToList();
По-видимому, когда вы группируете по сущности, возможно только проецировать ее ID и агрегаты. Похоже, что сортировка должна выполняться на клиенте.
Использованные отображения:
<class name="Author" table="authors">
<id name="AuthorId" column="author_id" />
<property name="AuthorName" column="author_name" />
<bag name="Files">
<key>
<column name="author_id" />
</key>
<one-to-many class="File"/>
</bag>
</class>
<class name="File" table="files">
<id name="FileId" column="file_id" />
<property name="FileName" column="file_name" />
<many-to-one name="Author" class="Author">
<column name="author_id" />
</many-to-one>
</class>