Я не думаю, что возможно обновить Mercurial изнутри.
Чтобы обновить Mercurial, я просто скачиваю новейший установочный пакет и переустанавливаю из него. Убедитесь, что вы загрузили один для своей версии OS X (из-за разных версий Python в разных версиях Mac OS X).