Достаточно ли UTF-8 для всех распространенных языков?

Question

Я просто хотел разработать приложение для перевода в проектах Django, которое позволит зарегистрированным пользователям с определенными разрешениями переводить каждое сообщение, которое появляется в последней версии.

Мой вопрос: какой набор символов я должен использовать для таблиц базы данных в этом приложении перевода? Похоже, некоторые символы европейского языка не могут быть сохранены в UTF-8?

Answer 1

Похоже, некоторые символы европейского языка не могут быть сохранены в UTF-8?

Не правда. UTF-8 может хранить любой набор символов без ограничений, за исключением, может быть, клингона. UTF-8 - ваш универсальный магазин. Если у вас есть проблемы с символами, они, скорее всего, связаны с проблемами кодирования или отсутствием поддержки этого диапазона символов в шрифте, который вы используете для отображения данных (хотя крайне маловероятно для символов европейского языка, но часто встречается, например, при просмотре индийские сайты на европейском компьютере. См. также этот вопрос )

Если не-западный набор символов не может быть отображен, возможно, встроенный шрифт пользователя не покрывает этот диапазон UTF-8.

Обновление: Клингон действительно не является частью Официальный UTF-8 :

Некоторые современные изобретенные сценарии, которые еще не были включены в Unicode (например, Tengwar) или которые не подходят для включения в Unicode из-за отсутствия реального использования (например, Klingon), перечислены в реестре Unix-кода ConScript, вместе с неофициальными, но широко используемыми назначениями кодов зоны личного пользования.

Однако существует проект добровольцев , который неофициально назначил кодовые точки F8D0-F8FF в частной зоне для клингона. Галерея персонажей клингонов

Answer 2

UTF-8 может использоваться для представления всего Unicode, поэтому он не позволяет вам выражать все распространенные языки. Это позволяет вам выразить все языки.

Если кажется, что некоторые европейские символы не работают, это проблема кодировки.