Как читать из файла символы UTF, как если бы они были кодом UTF? - PullRequest
Новая
       15

Как читать из файла символы UTF, как если бы они были кодом UTF?

0 голосов
/ 01 декабря 2010

Итак, у меня есть файл - html-файл, в котором есть много символов, таких как &'""""</\>9()!@#+=- Мне нужно преобразовать их в форму, которую можно скопировать с экрана вывода, чтобы после перехода на std::string str ("Here should be UTF simbols"); как это сделать ( с использованием C ++ boost)

1 Ответ

1 голос
/ 01 декабря 2010

В этом коде предполагается, что система компиляции использует расширенный набор ASCII, что целесообразно в современных системах.Он дает строковый литерал в виде std :: string, включая окружающие кавычки.Входные данные обрабатываются как общие байты, а не как UTF-8. 

std::string string_literal(int length, char const *data) {
  std::stringstream s;
  std::ostream shex (s.rdbuf());
  shex << std::hex << std::uppercase;
  shex.fill('0');

  s << '"';
  for (int n = 0; n != length; ++n) {
    unsigned char c = data[n];
    if (c < 32 || 0x7F <= c) {
      // add special cases for \n, \t, \r, etc. to produce nicer output
      shex << "\\x" << std::setw(2) << int(c);
    }
    else {
      switch (c) {
      case '"':
      case '\\':
        s << '\\' << c;
        break;

      default:
        s << c;
      }
    }
  }
  s << '"';
  return s.str();
}

Пример: 

// for string literals, makes below example easier
template<int N>
std::string string_literal(char const (&data)[N]) {
  assert(data[N - 1] == '\0');
  return string_literal(N - 1, data);
}

// another convenience overload
std::string string_literal(std::string const &s) {
  return string_literal(s.length(), s.data());
}

int main() {
  std::cout << "#include <iostream>\nint main() {\n  std::cout << ";
  std::cout << string_literal("&'\"</\\>9()!@#+=-") << "\n            << ";
  std::cout << string_literal("☺ ☃ ٩(•̮̮̃•̃)۶") << ";\n}\n";
    // first and second are a smiley face and snowman
    // the third may not display correctly on your browser
  return 0;
}

Выход: 

#include <iostream>
int main() {
  std::cout << "&'\"</\\>9()!@#+=-"
            << "\xE2\x98\xBA \xE2\x98\x83 \xD9\xA9(\xE2\x80\xA2\xCC\xAE\xCC\xAE\xCC\x83\xE2\x80\xA2\xCC\x83)\xDB\xB6";
}
...