Тебе нужны круглые скобки. Помните, что деление происходит до сложения / вычитания.
Кроме того, первые два параметра CGRectMake определяют, где на экране находится кнопка, а вторые два указывают размер. Поэтому, если вы просто хотите изменить размер кнопки, установите только последние два параметра.
#define button_grow_amount 1.2
CGRect currentFrame = button.frame;
CGRect newFrame = CGRectMake((currentFrame.origin.x - currentFrame.size.width) / button_grow_amount,
(currentFrame.origin.y - currentFrame.size.height) / button_grow_amount,
currentFrame.size.width * button_grow_amount,
currentFrame.size.height * button_grow_amount);
button.frame = newFrame;