Как читать построчно из сопоставленного файла в Java с помощью MappedByteBuffer - PullRequest
Новая
       59

Как читать построчно из сопоставленного файла в Java с помощью MappedByteBuffer

0 голосов
/ 31 мая 2019

Я хочу прочитать большой файл очень быстро. Я использую MappedByteBuffer вот так: 

String line = "";

try (RandomAccessFile file2 = new RandomAccessFile(new File(filename), "r"))
        {

            FileChannel fileChannel = file2.getChannel();


            MappedByteBuffer buffer = fileChannel.map(FileChannel.MapMode.READ_ONLY, 0, fileChannel.size());


            for (int i = 0; i < buffer.limit(); i++)
            {
               char a = (char) buffer.get();
               if (a == '\n'){
                   System.out.println(line);  
                   line = "";
             }else{
                 line += Character.toString(c);


            }
        }

Это не работает правильно. Это изменение содержимого файла и печать измененного содержимого. Есть ли лучший способ прочитать строку файла с MappedByteBuffer?

В конце концов я хотел бы разделить строку и извлечь определенный контент (начиная с его csv), так что это лишь минимальный пример, который воспроизводит проблему.

1 Ответ

0 голосов
/ 01 июня 2019

Я провел несколько тестов, используя файл размером 21 ГБ, заполненный случайными строками, каждая строка имела длину 20-40 символов. Похоже, встроенный BufferedReader по-прежнему самый быстрый метод. 

File f = new File("sfs");
try(Stream<String> lines = Files.lines(f.toPath(), StandardCharsets.UTF_8)){
    lines.forEach(line -> System.out.println(line));
} catch (IOException e) {}

Чтение строк в потоке гарантирует, что вы будете читать строки по мере необходимости, а не читать весь файл сразу.

Чтобы еще больше повысить скорость, вы можете увеличить размер буфера BufferedReader с умеренным коэффициентом. В моих тестах это начало превосходить нормальный размер буфера около 10 миллионов строк. 

 CharsetDecoder decoder = StandardCharsets.UTF_8.newDecoder();
 int size = 8192 * 16;
 try (BufferedReader br = new BufferedReader(new InputStreamReader(newInputStream(f.toPath()), decoder), size)) {
        br.lines().limit(LINES_TO_READ).forEach(s -> {
     });
 } catch (IOException e) {
     e.printStackTrace();
 }

Код, который я использовал для тестирования: 

private static long LINES_TO_READ = 10_000_000;

private static void java8Stream(File f) {

    long startTime = System.nanoTime();

    try (Stream<String> lines = Files.lines(f.toPath(), StandardCharsets.UTF_8).limit(LINES_TO_READ)) {
        lines.forEach(line -> {
        });
    } catch (IOException e) {
        e.printStackTrace();
    }

    long endTime = System.nanoTime();
    System.out.println("no buffer took " + (endTime - startTime) + " nanoseconds");
}

private static void streamWithLargeBuffer(File f) {
    long startTime = System.nanoTime();

    CharsetDecoder decoder = StandardCharsets.UTF_8.newDecoder();
    int size = 8192 * 16;
    try (BufferedReader br = new BufferedReader(new InputStreamReader(newInputStream(f.toPath()), decoder), size)) {
        br.lines().limit(LINES_TO_READ).forEach(s -> {
        });
    } catch (IOException e) {
        e.printStackTrace();
    }

    long endTime = System.nanoTime();
    System.out.println("using large buffer took " + (endTime - startTime) + " nanoseconds");
}

private static void memoryMappedFile(File f) {
    CharsetDecoder decoder = StandardCharsets.UTF_8.newDecoder();

    long linesReadCount = 0;
    String line = "";
    long startTime = System.nanoTime();

    try (RandomAccessFile file2 = new RandomAccessFile(f, "r")) {

        FileChannel fileChannel = file2.getChannel();
        MappedByteBuffer buffer = fileChannel.map(FileChannel.MapMode.READ_ONLY, 0L, Integer.MAX_VALUE - 10_000_000);
        CharBuffer decodedBuffer = decoder.decode(buffer);

        for (int i = 0; i < decodedBuffer.limit(); i++) {
            char a = decodedBuffer.get();
            if (a == '\n') {
                line = "";
            } else {
                line += Character.toString(a);

            }
            if (linesReadCount++ >= LINES_TO_READ){
                break;
            }
        }
    } catch (FileNotFoundException e) {
        e.printStackTrace();
    } catch (IOException e) {
        e.printStackTrace();
    }

    long endTime = System.nanoTime();

    System.out.println("using memory mapped files took " + (endTime - startTime) + " nanoseconds");

}

Кстати, я заметил, что FileChannel.map вызывает исключение , если отображаемый файл больше, чем Integer.MAX_VALUE, что делает метод непрактичным для чтения очень больших файлов.

...