Невозможно установить кодировку символов в java.util.Scanner - PullRequest
Новая
       10

Невозможно установить кодировку символов в java.util.Scanner

0 голосов
/ 06 ноября 2018

Я использую Apache Tika, чтобы получить кодировку файла. 

            FileInputStream fis = new FileInputStream(my_file);
            final AutoDetectReader detector = new AutoDetectReader(fis);
            fis.close();
            System.out.println("Encoding:" + detector.getCharset().toString());

Я использую Scanner для чтения значений из файла. 

                Scanner scanner = new Scanner(my_file, detector.getCharset().toString());
                Map<String, String> values = new HashMap<>();
                String line, key = null, value = null;
                while (scanner.hasNextLine()) {
                    line = scanner.nextLine();
                    if (line.contains(":")) {
                        if (key != null) {
                            values.put(key, value.trim());
                            key = null;
                            value = null;
                        }
                        int indexOfColon = line.indexOf(":");
                        key = line.substring(0, indexOfColon);
                        value = line.substring(indexOfColon + 1);
                    } else {
                        value += " " + line;
                    }
                }

Scanner не может прочитать текст из файлов с кодировкой windows-1252, я получаю пустую строку.

ОБНОВЛЕНИЕ 2018.11.07. У меня та же проблема в случае BufferedReader. 

                    Map<String, String> values = new HashMap<>();
                    String line, key = null, value = null;
                    FileInputStream is = new FileInputStream(my_file);
                    InputStreamReader isr = new InputStreamReader(is, getEncoding(my_file));
                    BufferedReader buffReader = new BufferedReader(isr);

                    while (buffReader.readLine() != null) {
                        line = buffReader.readLine();
                        if (line.contains(":")) {
                            if (key != null) {
                                values.put(key, value.trim());
                                key = null;
                                value = null;
                            }
                            int indexOfColon = line.indexOf(":");
                            key = line.substring(0, indexOfColon);
                            value = line.substring(indexOfColon + 1);
                        } else {
                            value += " " + line;
                        }
                    }

1 Ответ

0 голосов
/ 06 ноября 2018

Вместо чтения строк я бы попробовал читать символы, используя следующий подход: 

ByteArrayOutputStream line = new ByteArrayOutputStream();
Scanner scanner = new Scanner(my_file);

while (scanner.hasNextInt()) {
    int c = 0;
    // read every line
    while (c != newline) { // TODO: Check for a newline char
        c = scanner.nextInt();
        line.write((byte) c);
    }
    byte[] array = line.toByteArray();
    String output = new String(array, "Windows-1252"); // This should do the trick

    // We have a string here, do your logic

    line.reset();
}

Этот подход уродлив, но использует new String, который имеет возможность указать конкретную кодировку. Я вообще не тестировал и не запускал этот код, но по крайней мере он покажет вам, действительно ли какой-либо контент читается правильно.

...