Здесь работают несколько факторов:
- Текстовые файлы не имеют внутренних метаданных для описания их кодировки (несмотря на все разговоры о налогах на угловые скобки, есть причины, по которым XML популярен)
- Кодировкой по умолчанию для Windows по-прежнему является 8-битный (или двухбайтовый) набор символов " ANSI " с ограниченным диапазоном значений - текстовые файлы, записанные в этом формате, не являются переносимыми
- Чтобы отличить Unicode-файл от ANSI-файла, приложения Windows полагаются на наличие метки порядка байтов в начале файла ( не совсем верно, - объясняет Рэймонд Чен ). Теоретически, спецификация предназначена для того, чтобы сообщить вам endianess (порядок байтов) данных. Для UTF-8, несмотря на то, что порядок байтов только один, приложения Windows полагаются на байты маркера, чтобы автоматически выяснить, что это Unicode (хотя вы заметите, что Notepad имеет опцию кодирования в своих диалогах открытия / сохранения).
- Неправильно говорить, что Java не работает, потому что она не записывает спецификацию UTF-8 автоматически. Например, в системах Unix было бы ошибкой записывать спецификацию в файл сценария, и многие системы Unix используют UTF-8 в качестве кодировки по умолчанию. Временами вы не хотите этого в Windows, например, когда вы добавляете данные в существующий файл:
fos = new FileOutputStream(FileName,Append);
Вот метод надежного добавления данных UTF-8 в файл:
private static void writeUtf8ToFile(File file, boolean append, String data)
throws IOException {
boolean skipBOM = append && file.isFile() && (file.length() > 0);
Closer res = new Closer();
try {
OutputStream out = res.using(new FileOutputStream(file, append));
Writer writer = res.using(new OutputStreamWriter(out, Charset
.forName("UTF-8")));
if (!skipBOM) {
writer.write('\uFEFF');
}
writer.write(data);
} finally {
res.close();
}
}
Использование:
public static void main(String[] args) throws IOException {
String chinese = "\u4E0A\u6D77";
boolean append = true;
writeUtf8ToFile(new File("chinese.txt"), append, chinese);
}
Примечание: если файл уже существует, и вы решили добавить и существующие данные не были в кодировке UTF-8, единственное, что создаст код, - это беспорядок.
Вот тип Closer, используемый в этом коде:
public class Closer implements Closeable {
private Closeable closeable;
public <T extends Closeable> T using(T t) {
closeable = t;
return t;
}
@Override public void close() throws IOException {
if (closeable != null) {
closeable.close();
}
}
}
Этот код делает предположение в стиле Windows о том, как читать файл на основе меток порядка следования байтов:
private static final Charset[] UTF_ENCODINGS = { Charset.forName("UTF-8"),
Charset.forName("UTF-16LE"), Charset.forName("UTF-16BE") };
private static Charset getEncoding(InputStream in) throws IOException {
charsetLoop: for (Charset encodings : UTF_ENCODINGS) {
byte[] bom = "\uFEFF".getBytes(encodings);
in.mark(bom.length);
for (byte b : bom) {
if ((0xFF & b) != in.read()) {
in.reset();
continue charsetLoop;
}
}
return encodings;
}
return Charset.defaultCharset();
}
private static String readText(File file) throws IOException {
Closer res = new Closer();
try {
InputStream in = res.using(new FileInputStream(file));
InputStream bin = res.using(new BufferedInputStream(in));
Reader reader = res.using(new InputStreamReader(bin, getEncoding(bin)));
StringBuilder out = new StringBuilder();
for (int ch = reader.read(); ch != -1; ch = reader.read())
out.append((char) ch);
return out.toString();
} finally {
res.close();
}
}
Использование:
public static void main(String[] args) throws IOException {
System.out.println(readText(new File("chinese.txt")));
}
(System.out использует кодировку по умолчанию, поэтому то, печатает ли она что-либо разумное, зависит от вашей платформы и конфигурации .)