Удалить существующую версию.
$ brew rm imagemagick
Затем, чтобы отредактировать формулу, просто отредактируйте ее:
$ brew edit imagemagick
Это вызовет ее в редакторе;убедитесь, что ваша переменная $EDITOR
установлена в соответствии с вашими предпочтениями (для меня: TextMate)
Измените ее, сохраните ее, попробуйте установить ее.
Если вам удобен git, вы можетесначала нужно создать ветку и внести изменения в ветку.