weightedAverage = group.Sum(r => r.Field("EXEC_QTY") * r.Field("price"))
/ group.Sum(r => r.Field("EXEC_QTY"));
Добавьте Convert.ToDouble, если вам действительно это нужно.
Поскольку вы прокомментируете, что qty - это двойное число, а цена - десятичное число:
weightedAverage = group.Sum(r => (decimal)r.Field("EXEC_QTY") * r.Field("price"))
/ group.Sum(r => (decimal)r.Field("EXEC_QTY"));
(не так лиИмеет ли смысл, чтобы цена была десятичной, а количество - двойным? Или для обоих - десятичным?)