Это не задокументировано, потому что оно не определено. Проверьте возвращаемое значение - вот для чего оно.
Даже если это работает с вашей конкретной копией Windows, какая-то будущая версия может делать все, что захочет, чтобы HKEY передавался. Программы, которые полагаются на такое неуказанное поведение, не работают.
Просто проверьте возвращаемое значение и проигнорируйте HKEY в случае ошибки - это единственный правильный способ использовать RegCreateKeyEx.