PHP кодирование символов в UTF-8 из различных источников

Question

Привет, ребята. Я работаю на http://pastebin.com, и у нас есть небольшая проблема с новым API и кодировкой символов.

На самом сайте мы запускаем метатег, который указывает, что все на сайте, включая формы, являются utf-8. Из-за этого все символы сохраняются правильно, без необходимости изменять типы символов.

Однако с помощью API люди могут отправлять данные из самых разных источников и форм, поэтому перед их сохранением необходимо проверить и, возможно, изменить.

Символы, которые вызывают проблему, например:

고객님 이 티빙

Iñtërnâtiônàlizætiøn ♥♥♥♥♥

идите в * оопу, он лучший)

Что было бы хорошим способом приблизить этот ввод данных к API, чтобы убедиться, что все символы хранятся в действительном формате UTF-8, который будет работать на нашем сайте.

Answer 1

Если ваш клиент правильно отправляет данные и заголовки utf8: похоже, вы выполняете utf8_encode () для уже закодированных данных utf8.

Answer 2

Дубликат: Каков наилучший способ обработки загруженных текстовых файлов различных кодировок?

Одним словом, единственный надежный способ - указать клиенту, какую кодировку он использует.Автоматическое обнаружение кодирования несовершенно и, как правило, ненадежно.

Можно, например, указать, что для входящих данных требуется указанная кодировка, если это не UTF-8.