Почему Collections.sort () намного медленнее, чем Arrays.sort ()? - PullRequest
0 голосов
/ 09 октября 2018

Я пытался сделать тест, относительно Collection.sort() и Arrays.sort().В тесте я создал массив int s длиной 1e5 100 раз, который содержал случайные числа от 1 до 1e5.Я также создал список типа Integer, который содержал те же значения в тех же позициях, что и массив.Затем я отсортировал массив, используя Arrays.sort(), а список - Collections.sort().


ОБНОВЛЕНИЕ: Как указал @Holger, в моем коде была ошибка.Исправленный код теперь:

import java.util.* ;


class TestClass {
    public static void main(String args[] ) throws Exception {
        double ratSum = 0 ;
        for(int j=0;j<100;j++)
        {
        int[] A = new int[(int)1e5] ;
        List<Integer> L = new ArrayList<Integer>() ;
        for(int i=0;i<A.length;i++)
        {
            int no = (int)(Math.random()*(int)1e5) ;
            A[i] = no ;
            L.add(A[i]) ;
        }

        long startTime = System.nanoTime() ;
        Arrays.sort(A) ;
        long endTime = System.nanoTime() ;
        Collections.sort(L) ;
        long endTime2 = System.nanoTime() ;
        long t1 = (endTime-startTime), t2 = (endTime2-endTime) ;
        ratSum+=(double)t2/t1 ;
        System.out.println("Arrays.sort took :"+t1+" Collections.sort took :"+t2+" ratio :"+((double)t2/t1)) ;
    }
    System.out.println("Average ratio :"+(ratSum/100)) ;
    }
}

И вывод:

Arrays.sort took :24106021 Collections.sort took :92353602 ratio :3.8311425182944956
Arrays.sort took :8672831 Collections.sort took :50936497 ratio :5.873110752417521
Arrays.sort took :8561227 Collections.sort took :25611480 ratio :2.991566512603859
Arrays.sort took :7123928 Collections.sort took :17368785 ratio :2.4380910362934607
Arrays.sort took :6280488 Collections.sort took :16929218 ratio :2.6955258890710403
Arrays.sort took :6248227 Collections.sort took :16844915 ratio :2.695951187432851
Arrays.sort took :6220942 Collections.sort took :16979669 ratio :2.7294369566538315
Arrays.sort took :6213841 Collections.sort took :17439817 ratio :2.8066081832476883
Arrays.sort took :6286385 Collections.sort took :19963612 ratio :3.175690321225951
Arrays.sort took :6209668 Collections.sort took :17008307 ratio :2.7390042430609816
Arrays.sort took :6286623 Collections.sort took :17007163 ratio :2.705293923303497
Arrays.sort took :6256505 Collections.sort took :16911950 ratio :2.703098614961548
Arrays.sort took :6225031 Collections.sort took :16914494 ratio :2.7171742598550916
Arrays.sort took :6233918 Collections.sort took :17005995 ratio :2.72797861633727
Arrays.sort took :6210554 Collections.sort took :17606028 ratio :2.834856278522013
Arrays.sort took :6239384 Collections.sort took :20342378 ratio :3.260318326296314
Arrays.sort took :6207695 Collections.sort took :16519089 ratio :2.6610664666997974
Arrays.sort took :6227147 Collections.sort took :16605884 ratio :2.666692146499834
Arrays.sort took :6225187 Collections.sort took :16687597 ratio :2.680657946500242
Arrays.sort took :6152338 Collections.sort took :16475373 ratio :2.6779043999208105
Arrays.sort took :6184746 Collections.sort took :16511024 ratio :2.6696365541931715
Arrays.sort took :6130221 Collections.sort took :16578032 ratio :2.7043122915144493
Arrays.sort took :6271927 Collections.sort took :16507152 ratio :2.631910734930429
Arrays.sort took :6232482 Collections.sort took :16562166 ratio :2.657394919070765
Arrays.sort took :6218992 Collections.sort took :16552468 ratio :2.661599821964717
Arrays.sort took :6230427 Collections.sort took :21954967 ratio :3.52383022865046
Arrays.sort took :8204666 Collections.sort took :16607560 ratio :2.024160398485447
Arrays.sort took :6272619 Collections.sort took :22061291 ratio :3.5170781136236715
Arrays.sort took :8618253 Collections.sort took :19979549 ratio :2.3182829513127543
Arrays.sort took :6198538 Collections.sort took :17002645 ratio :2.743008915973412
Arrays.sort took :6265018 Collections.sort took :17079646 ratio :2.7261926462142645
Arrays.sort took :6302335 Collections.sort took :17040082 ratio :2.7037728080148073
Arrays.sort took :6293948 Collections.sort took :17133482 ratio :2.722215372608735
Arrays.sort took :6272364 Collections.sort took :17099717 ratio :2.7261997231028046
Arrays.sort took :6219540 Collections.sort took :17026849 ratio :2.737637992520347
Arrays.sort took :6231000 Collections.sort took :17149439 ratio :2.7522771625742255
Arrays.sort took :6309215 Collections.sort took :17118779 ratio :2.713297771592821
Arrays.sort took :6200511 Collections.sort took :17123517 ratio :2.7616299688848227
Arrays.sort took :6263169 Collections.sort took :16995685 ratio :2.7135919532109063
Arrays.sort took :6212243 Collections.sort took :17101848 ratio :2.7529264389689843
Arrays.sort took :6247580 Collections.sort took :17089850 ratio :2.735435160494143
Arrays.sort took :6283626 Collections.sort took :17088109 ratio :2.7194662763188004
Arrays.sort took :6312678 Collections.sort took :17055856 ratio :2.7018415955954036
Arrays.sort took :6222695 Collections.sort took :17071263 ratio :2.7433873908330715
Arrays.sort took :6300990 Collections.sort took :17016171 ratio :2.7005551508572463
Arrays.sort took :6262923 Collections.sort took :17084477 ratio :2.727875945465081
Arrays.sort took :6256482 Collections.sort took :17062232 ratio :2.7271287602202006
Arrays.sort took :6259643 Collections.sort took :17036036 ratio :2.721566709155778
Arrays.sort took :6248649 Collections.sort took :16944960 ratio :2.711779778316881
Arrays.sort took :6264515 Collections.sort took :16986876 ratio :2.7116027338109974
Arrays.sort took :6241864 Collections.sort took :17367903 ratio :2.782486609769133
Arrays.sort took :6297429 Collections.sort took :17080086 ratio :2.7122316107097038
Arrays.sort took :6184084 Collections.sort took :17584862 ratio :2.843567778186713
Arrays.sort took :6315776 Collections.sort took :22279278 ratio :3.5275598754610678
Arrays.sort took :6253047 Collections.sort took :17091694 ratio :2.7333384828228544
Arrays.sort took :6291188 Collections.sort took :17147694 ratio :2.725668665441249
Arrays.sort took :6327348 Collections.sort took :17034007 ratio :2.6921242517402235
Arrays.sort took :6284904 Collections.sort took :17049315 ratio :2.712740719667317
Arrays.sort took :6190436 Collections.sort took :17143853 ratio :2.7694096183209065
Arrays.sort took :6301712 Collections.sort took :17070237 ratio :2.7088253160411013
Arrays.sort took :6208193 Collections.sort took :17060372 ratio :2.74804149935416
Arrays.sort took :6247700 Collections.sort took :16961962 ratio :2.7149130079869392
Arrays.sort took :6344996 Collections.sort took :17084627 ratio :2.6926143058246215
Arrays.sort took :6214232 Collections.sort took :17150324 ratio :2.759846108095095
Arrays.sort took :6224359 Collections.sort took :17081254 ratio :2.744259127727048
Arrays.sort took :6256722 Collections.sort took :17005451 ratio :2.7179489515436357
Arrays.sort took :6286439 Collections.sort took :17061112 ratio :2.713954911516679
Arrays.sort took :6250634 Collections.sort took :17091313 ratio :2.7343327092899696
Arrays.sort took :6252900 Collections.sort took :17041659 ratio :2.7254008540037424
Arrays.sort took :6222192 Collections.sort took :17125062 ratio :2.75225547524088
Arrays.sort took :6227037 Collections.sort took :17013314 ratio :2.7321684454420296
Arrays.sort took :6223609 Collections.sort took :17086112 ratio :2.745370411283871
Arrays.sort took :6280777 Collections.sort took :17091821 ratio :2.7212908530266238
Arrays.sort took :6254551 Collections.sort took :17148242 ratio :2.741722307484582
Arrays.sort took :6250927 Collections.sort took :17053331 ratio :2.7281283240069834
Arrays.sort took :6270616 Collections.sort took :17067948 ratio :2.721893351466586
Arrays.sort took :6223093 Collections.sort took :17034584 ratio :2.737317922132933
Arrays.sort took :6286002 Collections.sort took :17128280 ratio :2.7248289135129133
Arrays.sort took :6239485 Collections.sort took :17032062 ratio :2.7297224049741287
Arrays.sort took :6191290 Collections.sort took :17017219 ratio :2.748574045150526
Arrays.sort took :6134110 Collections.sort took :17069485 ratio :2.782715830006309
Arrays.sort took :6207363 Collections.sort took :17052862 ratio :2.747199092432648
Arrays.sort took :6238702 Collections.sort took :17056945 ratio :2.734053493819708
Arrays.sort took :6185356 Collections.sort took :17006088 ratio :2.749411351585907
Arrays.sort took :6309226 Collections.sort took :17056503 ratio :2.703422416632405
Arrays.sort took :6256706 Collections.sort took :17082903 ratio :2.7303349398229675
Arrays.sort took :6194988 Collections.sort took :17069426 ratio :2.7553606237816766
Arrays.sort took :6184266 Collections.sort took :17054641 ratio :2.757746998592881
Arrays.sort took :6271022 Collections.sort took :17086036 ratio :2.724601508334686
Arrays.sort took :6246482 Collections.sort took :17077804 ratio :2.733987546910405
Arrays.sort took :6194985 Collections.sort took :17119911 ratio :2.763511291794895
Arrays.sort took :6319199 Collections.sort took :17444587 ratio :2.760569337980969
Arrays.sort took :6262827 Collections.sort took :17065589 ratio :2.7249018693954024
Arrays.sort took :6301245 Collections.sort took :17195611 ratio :2.728922776371971
Arrays.sort took :6214333 Collections.sort took :17024645 ratio :2.739577199998777
Arrays.sort took :6213116 Collections.sort took :17382033 ratio :2.7976353572024086
Arrays.sort took :6286394 Collections.sort took :17124874 ratio :2.7241171965995132
Arrays.sort took :6166308 Collections.sort took :16998293 ratio :2.756640278104824
Arrays.sort took :6247395 Collections.sort took :16957056 ratio :2.7142602636779007
Arrays.sort took :6245054 Collections.sort took :16994147 ratio :2.72121698227109
Average ratio :2.792654880602193

Более того, я запускал код локально, 1000 раз (вместо 100), и среднее соотношение было:: 3.0616 Таким образом, соотношение все еще является значительным и поэтому заслуживает обсуждения.

Вопрос: Почему Collections.sort() занимает примерно 3 раза время, необходимое Arrays.sort() для сортировки того жеценности?Это потому, что сейчас мы не сравниваем примитивы?Почему это займет больше времени?

Ответы [ 5 ]

0 голосов
/ 10 октября 2018

Есть одна вещь, которая не упоминалась на этом пути, это «погоня за указателем», которая связана с частью «распаковки».Для массива такого небольшого размера то, используете ли вы timsort или quicksort, не должно иметь существенного значения (для примитивных массивов с текущими скоростями ЦП это, скорее всего, не то, что убивает вашу скорость).

Хотя бокс непроизойдет за пределами инициализации в вашем примере, большая разница происходит, когда данные читаются.

Поскольку целые числа являются примитивами, int [] - это просто непрерывный фрагмент памяти, который содержит сами данные, целое число [] представляет собой непрерывный фрагмент памяти, который содержит ссылки (то есть указатели) на отдельные объекты данных, а сами объекты Integer могут быть разбросаны по всей памяти.

Так что для операции сортировки в int [] ЦП будетполучить кусок памяти и может работать с этим напрямую.Но для Integer [] ЦП должен преследовать указатель для каждого отдельного объекта и получать его из памяти, прежде чем он сможет сравнить его, а затем обработать тот кусок памяти, который является массивом, и переставить его.Это называется «погоня за указателем».

Это не так много, что Integer [] требует больше операций для каждого фрагмента данных, таких как чтение значения, добавление длины заголовка к базовому адресу и получение значения изтам (центральный процессор выполняет эти инструкции очень хорошо, и это скрывает большую часть его влияния), задержка памяти убивает вас.Извлечение каждого отдельного объекта Integer из случайной ячейки памяти делает почти все различия.

Обычно это не имеет большого значения, так как обычно вы инициализируете довольно небольшое количество Integer [] в узком цикле, и естьв фоновом режиме ничего особенного не происходит, поэтому объекты Integer, вероятно, находятся в непосредственной близости в памяти и могут быть извлечены в кэш и доступны оттуда довольно быстро, но для огромных массивов и списков, которые создаются и изменяются во всех загруженных приложениях, этоможет иметь существенное значение и может привести к неожиданным всплескам задержки.Вы захотите избежать этого, если вам нужны надежные, низкие задержки.Однако для огромного числа приложений, если сортировка занимает несколько миллисекунд, никто не замечает.

[EDIT]

Как вы и просили в комментарии, вот код дляпокажите, что речь идет не о Timsort vs quicksort:

import java.util.Arrays;
import java.util.Random;

public class Pointerchasing1 {

    public static void main(String[] args) {

        //use the exact same algorithm implementation (insertionSort), to show that slowness is not caused by timsort vs quicksort.
        //expect that the object-version is slower.

        final int[] direct = new int[1024]; 
        final Integer[] refs = new Integer[direct.length];

        final Random rnd = new Random(0);
        for (int t = 0; t < 1000; ++t) {
            Arrays.setAll(direct, index -> rnd.nextInt());
            Arrays.setAll(refs, index -> direct[index]); // boxing happens here

            //measure direct:
            long t1 = System.nanoTime();
            insertionSortPrimitive(direct);
            long e1 = System.nanoTime()-t1;
            //measure refs:         
            long t2 = System.nanoTime();
            insertionSortObjects(refs);
            long e2 = System.nanoTime()-t2;

            // use results, so compiler can't eliminate the loops
            System.out.println(Arrays.toString(direct));
            System.out.println(Arrays.toString(refs));
            System.out.println("-");            
            System.out.println(e1);
            System.out.println(e2);
            System.out.println("--");           
        }
    }

    private static void insertionSortPrimitive(final int[] arr) {
        int i, key, j;
        for (i = 1; i < arr.length; i++) {
            key = arr[i];
            j = i - 1;
            while (j >= 0 && arr[j] > key) {
                arr[j + 1] = arr[j];
                j = j - 1;
            }
            arr[j + 1] = key;
        }
    }

    private static void insertionSortObjects(final Integer[] arr) {
        int i, key, j;
        for (i = 1; i < arr.length; i++) {
            key = arr[i];
            j = i - 1;
            while (j >= 0 && arr[j] > key) {
                arr[j + 1] = arr[j];
                j = j - 1;
            }
            arr[j + 1] = key;
        }
    }

}

Этот «тест» оставляет распаковку как возможного виновника.

[EDIT2]

Теперь этот тест должен показать, что«распаковка» не проблема.Распаковка - это просто добавление нескольких байтов заголовка объекта к адресу (из-за непорядочного выполнения и конвейерной обработки эти затраты практически исчезают) и получение значения из этого местоположения.В этом тесте я использую два примитивных массива, один для ссылки и один для значения.Таким образом, каждый доступ является косвенным.Это очень похоже на распаковку, просто без добавления нескольких дополнительных байтов для заголовка объекта.Основное отличие состоит в том, что «косвенной» версии не нужно гоняться за указателем для каждого значения в куче, она может загружать как массивы, так и индексы из массива refs в массив значений.

Если погрешность указателя имеет значение, а не распаковывать, то косвенная версия должна быть быстрее, чем версия объектов, которая распаковывает.

import java.util.Arrays;
import java.util.Random;

public class Pointerchasing2 {

    public static void main(String[] args) {

        // use indirect access (like unboxing, but just chasing a single array pointer) vs. Integer objects (chasing every object's pointer).
        // expect that the object-version is still slower.

        final int[] values = new int[1024];
        final int[] refs = new int[1024];
        final Integer[] objects = new Integer[values.length];

        final Random rnd = new Random(0);
        for (int t = 0; t < 1000; ++t) {
            Arrays.setAll(values, index -> rnd.nextInt());
            Arrays.setAll(refs, index -> index);
            Arrays.setAll(objects, index -> values[index]); // boxing happens here

            // measure indirect:
            long t1 = System.nanoTime();
            insertionSortPrimitiveIndirect(refs, values);
            long e1 = System.nanoTime() - t1;
            // measure objects:
            long t2 = System.nanoTime();
            insertionSortObjects(objects);
            long e2 = System.nanoTime() - t2;

            // use results, so compiler can't eliminate the loops
            System.out.println(Arrays.toString(indirectResult(refs, values)));
            System.out.println(Arrays.toString(objects));
            System.out.println("-");
            System.out.println(e1);
            System.out.println(e2);
            System.out.println("--");
        }
    }

    private static void insertionSortPrimitiveIndirect(final int[] refs, int[] values) {
        int i, keyIndex, j;
        for (i = 1; i < refs.length; i++) {
            keyIndex = refs[i];
            j = i - 1;
            while (j >= 0 && values[refs[j]] > values[keyIndex]) {
                refs[j + 1] = refs[j];
                j = j - 1;
            }
            refs[j + 1] = keyIndex;
        }
    }

    private static void insertionSortObjects(final Integer[] arr) {
        int i, key, j;
        for (i = 1; i < arr.length; i++) {
            key = arr[i];
            j = i - 1;
            while (j >= 0 && arr[j] > key) {
                arr[j + 1] = arr[j];
                j = j - 1;
            }
            arr[j + 1] = key;
        }
    }

    private static int[] indirectResult(final int[] refs, int[] values) {
        final int[] result = new int[1024];
        Arrays.setAll(result, index -> values[refs[index]]);
        return result;
    }

}

Результат: в обоих этих тестах«примитивные» и «косвенные» версии быстрее, чем доступ к объектам в куче.Следует ожидать, что распаковка не убивает скорость, а задержку памяти из-за погони за указателем.

Смотрите также это видео о проекте Valhalla: («Типы значений и общая специализация в JVM обещают нам лучшую JIT»код, локальность данных и удалить тиранию погони указателя. ") https://vimeo.com/289667280

0 голосов
/ 09 октября 2018

если вы видите Collections.sort () oracle doc здесь он читает

Эта реализация выгружает указанный список в массив, сортирует массив и перебирает списоксброс каждого элемента из соответствующей позиции в массиве

, что означает, что он выполняет сортировку массива и дополнительную итерацию, это подразумевает, что Collections.sort () медленнее, чем arrays.sort

  1. выводит указанный список в массив
  2. сортирует массив ~ arrays.sort
  3. перебирает список, сбрасывая каждый элемент с соответствующей позиции в массиве
0 голосов
/ 09 октября 2018

Collection.sort () использует алгоритм сортировки слиянием, а Arrays.sort () использует быструю сортировку.У быстрой сортировки есть существенные недостатки, когда дело доходит до сортировки слиянием, она нестабильна, когда речь идет о не примитиве.Так что в зависимости от требований мы будем использовать Arrays.sort () или Collection.sort (), если необходимо сравнить объекты или примитивы.

0 голосов
/ 09 октября 2018

Здесь есть две проблемы:

Проблема № 1:

Под прикрытием Collections.sort работает, копируя коллекцию в массив, сортируя массив, затем копируя массив обратнов коллекцию.

Arrays.sort просто сортирует массив на месте.

Теперь для достаточно большого массива / коллекции стоимость сортировки (O(NlogN) будет доминировать над стоимостью копирования (O(N)).Для небольшого массива / коллекции копирование становится значительным.

(Это может зависеть от типа коллекции. Для ArrayList реализация Collections.sort может быть в состоянии отсортировать резервный массив без копирования данныхМне нужно проверить исходный код. ОБНОВЛЕНИЕ - сортировка на месте подтверждена для ArrayList для Java 8 и более поздних версий.)

Проблема №2:

Вы сравниваете сортировку int[] с сортировкой List<Integer>.

Это яблоки и апельсины.Потому что:

  1. Сравнение двух значений int с использованием реляционных операторов выполняется быстрее, чем сравнение двух значений Integer с использованием compareTo(Integer).
  2. Arrays.sort(int[]) использует другой (более быстрый) алгоритмк тому, который используется Arrays.sort(Object[])

Если вы хотите более справедливое сравнение, сравните Collections.sort на ArrayList<Integer> с Arrays.sort(Object[]) на Integer[].

0 голосов
/ 09 октября 2018

Итак, здесь есть два разных метода с совершенно разными алгоритмами:

Arrays.sort(int[]) использует алгоритм быстрой сортировки с двойным поворотом.

Collections.sort(List<T>) вызывает list.sort(null), что в свою очередь вызываетArrays.sort(T[]).При этом используется алгоритм Timsort.

Итак, давайте сравним Arrays.sort(int[]) и Arrays.sort(T[]).

  1. T[] - это массив в штучной упаковке, поэтому существует один дополнительный уровень косвенности: длякаждый звонок, вы должны развернуть Integer.Это, безусловно, приводит к накладным расходам.С другой стороны, int[] является примитивным массивом, поэтому все элементы доступны «немедленно».
  2. TimSort - это вариант классического алгоритма слияния.Это быстрее, чем сортировка слиянием, но все же медленнее, чем быстрая сортировка, потому что у быстрой сортировки
    • меньше данных на случайных данных.
    • Быстрая сортировка требует O(log(n)) дополнительного пространства, тогда как TimSort требует O(n) для обеспечения стабильности, что такжеприводит к накладным расходам.
...