По умолчанию TestNG предназначен для запуска тестов в соответствии с приоритетом и порядком.
Если вы хотите запускать тесты в случайном порядке, вы должны написать метод, который выберет некоторые из ваших методов тестирования и вставит их в ваш тест.XML-файл набора тестов.
Примерно так:
private void addRandomTests()
{
Random rnd = new Random();
List<String> testsCode = new ArrayList<>();
for (int i = 0; i < 6; i++) {
int n = rnd.nextInt(10);
// if your test methods are called Test1, Test2, Test3 etc'
// Otherwise change this code
testsCode.add("Test"+n);
}
// Manipulate the XML test suite by adding more test tags
AddTestToSuites(testsCode);
}