Эффективный и масштабируемый способ сортировки большого количества строк в Java

Question

Я ищу идеи для идеи сортировки большого количества строк из входного файла и распечатки отсортированных результатов в новый файл на Java.Требование заключается в том, что входной файл может быть очень большим.Мне нужно учитывать производительность в решении, так что есть идеи?

Answer 1

Внешняя сортировка * Метод 1002 * обычно используется для сортировки огромных объемов данных.Может быть, это то, что вам нужно.

externalsortinginjava - это библиотека Java для этого.

Answer 2

Разбейте файл на количество, которое вы можете прочитать в памяти. Отсортируйте каждую сумму и запишите в файл. (Если бы вы могли вписать все в память, все готово) Объединить отсортировать полученные файлы в один отсортированный файл.

Вы также можете сделать форму радикальной сортировки для повышения эффективности процессора, но основным узким местом является все переписывание и повторное чтение, которое вам нужно сделать.

Answer 3

Доступна ли база данных SQL?Если вы вставили все данные в таблицу с индексированным сортируемым столбцом или разделом, вы можете (или не можете) вывести отсортированный результат более эффективно.Это решение также может быть полезно, если объем данных превышает объем доступной оперативной памяти.

Было бы интересно узнать, насколько велика и какова цель.