Не могли бы вы использовать нулевой оператор объединения? Я понимаю, что это не совсем то же самое, но это может быть уместно.
group => new {
rounded_sum = Decimal.Round( group.Sum( f => f.A ) ?? 0M, 0 )
}
Другой альтернативой может быть выполнение операции в два этапа, что позволит сэкономить выполнение операции суммирования дважды, хотя это даже "слово".
...
group => new {
sum = group.Sum( f => f.A )
})
.Select( g => new {
rounded_sum = sum == null ? null : (decimal?)Decimal.Round( sum.Value, 0 )
});