В Python для чего нужна информация о кодировке символов?

Question

Если вы перейдете к https://www.htmlbasictutor.ca/character-encoding.htm, вы найдете следующее описание кодировки символов:

Character encoding tells the browser and validator what set of characters to use when converting the bits to characters.

Это все хорошо и хорошо - но если бы мы говорили оPython вместо HTML, что мы заменили бы browser and validator?Как бы вы определили эти слова для замены?

Answer 1

«Браузер» и «валидатор» - это всего лишь два типа читателей HTML.Они имеют ту же потребность, что и каждая программа, которая читает байты, представляющие текстЧтобы интерпретатор Python мог прочитать исходный файл, он должен сначала определить свою кодировку символов.Затем он перезапускает и передает декодированные символы в лексер и синтаксический анализатор токенов.

Итак, «интерпретатор» - это программа, такая же, как «браузер» или «валидатор».Или, со ссылкой на проектную документацию Python, « алгоритм обнаружения кодировки в токенизаторе ».