JS_NewPropertyIterator возвращает объект итеративного кода.
JS_Enumerate возвращает массив JSID
Вероятно, новым итератором свойства будет код, предназначенный для использования приложениями, и JS_Enumerate, скорее всего, будетфактическая функция виртуальной машины (или ее эмуляция), используемая для выполнения перечислений в скриптах.
В действительности разница не имеет значения.важно то, что вы понимаете о них и насколько они полезны для вашего приложения.