У меня есть 2 машины, с одним и тем же процессором, 4 узлами numa и 24 * 4 = 96 ядер. Я использую spark local[96] для запуска своей программы, используя htop, чтобы увидеть загрузку процессора, на первой машине,96 ядер используются почти на 100%
На втором я использую точно такой же код (искровой код упакован в образ докера, и я использую то же изображение), но htop мог видеть, что все 96 ядер имеют толькоЗагрузка процессора от 25% до 33%.
Я использую для проверки lscpu, за исключением параметра CPU MHz (первый - около 3000, а второй - 999,963), остальные все одинаковые (max MHz 3800, min MHz 1000, оба hyper-thread отключены).
Почему моя программа Spark не может полностью использовать процессор на втором компьютере?