Вам необходимо рассчитать максимальное и минимальное значения индекса для каждой группы, а затем найти значения в соответствующих строках:
Result =
VAR CurrGroup = Table1[Group]
VAR MaxIndex = CALCULATE(MAX(Table1[Index]), ALL(Table1), Table1[Group] = CurrGroup)
VAR MinIndex = CALCULATE(MIN(Table1[Index]), ALL(Table1), Table1[Group] = CurrGroup)
RETURN LOOKUPVALUE(Table1[VarA], Table1[Index], MinIndex) -
LOOKUPVALUE(Table1[VarB], Table1[Index], MaxIndex)