Я бы предложил и то и другое - т.е.
registerCallback(handler);
и
registerCallback(handler, priority);
Таким образом, пользователи вашего API могут указать приоритет, если это важно для них.
Если приоритет не указан, то порядок регистрации , вероятно, является ожидаемым порядком обратного вызова.