Пакет testng не запускается в указанном порядке

Question

У меня есть набор тестов ниже testng.

<suite name="MySuite" parallel="false">
    <test name="MyTest" parallel="false" preserve-order="true">
        <classes>
            <class name="com.my.package.Test1"/>
            <class name="com.my.package.Test2"/>
            <class name="com.my.package.Test3"/>
            <class name="com.my.package.Test4"/>
            <class name="com.my.package.Test5"/>
            <class name="com.my.package.Test6"/>
            <class name="com.my.package.Test7"/>
            <class name="com.my.package.Test8"/>
            <class name="com.my.package.Test9"/>
            <class name="com.my.package.Test10"/>
            <class name="com.my.package.Test11"/>
            <class name="com.my.package.Test12"/>
            <class name="com.my.package.Test13"/>
            <class name="com.my.package.Test14"/>
            <class name="com.my.package.Test15"/>
            <class name="com.my.package.Test16"/>
            <class name="com.my.package.Test17"/>
            <class name="com.my.package.Test18"/>
            <class name="com.my.package.Test19"/>
            <class name="com.my.package.Test20"/>
            <class name="com.my.package.Test21"/>
            <class name="com.my.package.Test22"/>
            <class name="com.my.package.Test23"/>
            <class name="com.my.package.Test24"/>
            <class name="com.my.package.Test25"/>
        </classes>
    </test>
</suite>

Я использую testng 6.14.3

И выполняю набор с помощью следующей команды.

mvn test -DsuiteXmlFile=suite.xml

Iожидайте, что тесты будут выполняться в порядке, указанном в xml (я использовал атрибут preserve-order="true").Но тесты выполняются в следующем порядке.

com.my.package.Test1
com.my.package.Test23
com.my.package.Test2
com.my.package.Test24
com.my.package.Test3
com.my.package.Test25
com.my.package.Test4
com.my.package.Test5
com.my.package.Test6
...
...

Если количество классов тестов меньше 23, они выполняются в указанном порядке.Но, когда количество равно 23 или более, тесты выполняются в вышеупомянутой схеме.

Что может быть здесь не так?

Answer 1

Я нашел проблему.Причиной был класс Test22, в котором не было никаких методов тестирования.Тест, который был там, был закомментирован.Когда тест снова был добавлен в класс, пакет снова начал работать в ожидаемом порядке.

Не уверен, является ли это ошибкой в ​​Testng или нет.